- 博客(8)
- 资源 (17)
- 收藏
- 关注
转载 CDH 的Kerberos认证配置
CDH 的Kerberos认证配置博客分类: Hadoop http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于:hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档:Configuring
2014-12-26 16:06:11 68989
转载 HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意:下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
2014-12-26 16:02:33 43000 6
转载 Hadoop Kerberos安全机制介绍
Hadoop Kerberos安全机制介绍1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上,恶意的提交作业,修改JobTracker状态,篡改HDFS上的数据,伪装成N
2014-12-23 11:41:30 1899
转载 Hive日期函数
存储,学习,共享转自大神 http://www.oratea.net/?p=944UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳(从1970-01-01 00:00:
2014-12-02 16:26:24 7167
转载 Hive:简单查询不启用Mapreduce job而启用Fetch task
存储,学习,共享如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下:01hive> SELECT id, money FROM m limit 10;02Total MapReduce jobs = 103
2014-12-02 11:20:24 1756
转载 从 MapReduce 到 Hive
1、背景介绍早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR. 但是随着工作的数据内容越来越多,越来越复杂,对应的调整也越来越多,越来越复杂.纯使用MR方式整个流程就比较复杂,如果需要修改某个部分,那首先需要修改代码中的逻辑,然后把代码打包上传到某个可访问路径上(一般就是hdfs),然后在调度平台内执行.如果改动较大
2014-12-02 10:49:36 6532
原创 Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hado
今天在数据合并的时候发现map 成功但是reduce总是失败,问题简单描述:把每天采集的数据,合并都汇总表中,按天为分区。如下看到map在执行时均成功:但是在最终的 reduce阶段失败,查找原因:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache
2014-12-02 09:00:29 26028
原创 WARN [main] conf.HiveConf (HiveConf.java:initialize(1488)) - DEPRECATED: Configuration property hiv
问题描述:hive 关于告警问题的解决:WARN [main] conf.HiveConf (HiveConf.java:initialize(1488)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value
2014-12-01 14:35:45 3011
新华字典 2014版 Access数据库
2017-01-12
7.7中文破解版.rar
2014-10-09
mysql-connector-java-5.1.31-bin.jar
2014-07-29
MySql常用命令总结
2013-12-20
Atlas部署及常见问题
2013-11-12
mysql-mmm有关mmm_control 参数测试(完整版)
2012-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人