Hadoop
anyoneking
2010年了,毕业6年了!围绕在我周围的只有生活,生活。为了生活,努力!
展开
-
Hadoop+hive安装
以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。 配置/etc/hosts来使用。 下载hadoop安装包,解压缩 进入conf目录: 修改conf/core-site.xml hadoop.tmp.dir /home/songwei/hadoop/tmp f原创 2011-10-26 09:03:10 · 2174 阅读 · 0 评论 -
hadoop+hive多用户访问支持
在我们hadoop+hive的使用场景中,一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候,只能通过hive启动server的方式来处理。 而不能通过客户端的方式来处理。 如果将hive程序部署到非hadoop用户下,会出现如下问题: /home/songwei/hive-0.7.0-bin/bin/hive-config.sh: line 21: export: `=/原创 2012-06-25 17:51:31 · 3109 阅读 · 0 评论 -
hadoop namenode 数据恢复
在一次hadoop的重启过程中,重启失效,只能杀掉hadoop的namenode进程。 再重启的时候,出现如下问题: 2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs原创 2012-07-02 12:58:45 · 2858 阅读 · 0 评论 -
hive external table partition 关联HDFS数据
EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION) hive创建内部表时,会将数据移动到数据仓库指向的路径; 创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变, 在删除表的时候: 内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。 HDFS中已经导入了城市日期数据文件。 /u原创 2011-10-26 10:48:32 · 3175 阅读 · 0 评论 -
Hadoop集群中引入新DataNode节点
例如新增的节点ip为192.168.1.xxx 在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts 在xxx上新建用户 useradd hadoop -s /bin/bash -m 并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下 安装jdk apt-get install sun-ja原创 2013-04-16 09:25:10 · 4657 阅读 · 1 评论