![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
anyoneking
2010年了,毕业6年了!围绕在我周围的只有生活,生活。为了生活,努力!
展开
-
Hadoop+hive安装
以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。配置/etc/hosts来使用。下载hadoop安装包,解压缩进入conf目录:修改conf/core-site.xml hadoop.tmp.dir /home/songwei/hadoop/tmp f原创 2011-10-26 09:03:10 · 2166 阅读 · 0 评论 -
hadoop+hive多用户访问支持
在我们hadoop+hive的使用场景中,一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候,只能通过hive启动server的方式来处理。而不能通过客户端的方式来处理。如果将hive程序部署到非hadoop用户下,会出现如下问题:/home/songwei/hive-0.7.0-bin/bin/hive-config.sh: line 21: export: `=/原创 2012-06-25 17:51:31 · 3081 阅读 · 0 评论 -
hadoop namenode 数据恢复
在一次hadoop的重启过程中,重启失效,只能杀掉hadoop的namenode进程。再重启的时候,出现如下问题:2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs原创 2012-07-02 12:58:45 · 2830 阅读 · 0 评论 -
hive external table partition 关联HDFS数据
EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION)hive创建内部表时,会将数据移动到数据仓库指向的路径; 创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变,在删除表的时候: 内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。HDFS中已经导入了城市日期数据文件。/u原创 2011-10-26 10:48:32 · 3141 阅读 · 0 评论 -
Hadoop集群中引入新DataNode节点
例如新增的节点ip为192.168.1.xxx在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts在xxx上新建用户useradd hadoop -s /bin/bash -m并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下安装jdkapt-get install sun-ja原创 2013-04-16 09:25:10 · 4626 阅读 · 1 评论