hadoop
memiracle
这个作者很懒,什么都没留下…
展开
-
hadoop nfs网关
hadoop nfs网关1. 在hadoop下的core-site.xml,加入 hadoop.proxyuser.root.groups * 允许所有用户组用户代理 hadoop.proxyuser.root.hosts localhost 允许挂载的主机域名2. 在hadoop下的hdfs-site.x原创 2017-04-26 20:18:26 · 689 阅读 · 0 评论 -
hadoop hive基本操作
hive 基本操作命令:hive shell || hive --service cli进入shell后1. 设置显示当前database和显示列字段 set hive.cli.print.current.db=true //显示当前db set hive.cli.print.headers=true //显示列原创 2017-04-26 20:19:16 · 384 阅读 · 0 评论 -
fuse挂载hdfs文件系统
fuse挂载hdfs文件系统步骤(以cdh5的源为主,对应hadoop2.6版本)1.cdh版本介绍 1. hadoop源 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cdh4/ http://archive.cloudera.com/cdh/下有1、2、3 h原创 2017-04-26 20:20:17 · 3088 阅读 · 0 评论 -
cdh源
1. hadoop源 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cdh4/ http://archive.cloudera.com/cdh/下有1、2、3 http://archive.apache.org/dist/hadoop/core/下面有所有版本的源码原创 2017-04-26 20:21:11 · 956 阅读 · 0 评论 -
hive添加认证
hive 添加认证认证有好几种,用户名和密码认证属于CUSTOM自定义认证,需要实现一个PasswdAuthenticationProvider接口,然后生成jar包,放到/usr/lib/hive/lib/下1.需要在/etc/hive/conf/hive-site.xml,添加 hive.server2.authentication CUSTOM原创 2017-04-26 20:22:04 · 2319 阅读 · 0 评论 -
hive shell进入
进入hive shell步骤1./etc/init.d/hive-server2 stop2.如果是安全模式,需要先退出安全模式 su hdfs hdfs dfsadmin -safemode leave exit3. chown -R hive.hive /var/lib/hive/metastore/metastore_db4. hive shel原创 2017-04-26 20:22:43 · 2262 阅读 · 0 评论 -
ApacheHadoop版本演变
ApacheHadoopApache版本衍化ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Had原创 2017-04-26 20:23:39 · 985 阅读 · 0 评论 -
hive添加自定义认证类 CustomHiveServer2Auth.java
package hive.server2.auth; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.security.MessageDigest; import j原创 2017-04-26 20:24:45 · 1067 阅读 · 0 评论