云计算
ilovemilk
IT业
展开
-
CentOS 64位上编译 Hadoop 2.6.0
1.操作系统编译环境yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst2.安装JDK下载JDK1.7,注意只能用1.7,否则编译会出错http://www.oracle.com/tech原创 2015-03-19 21:44:11 · 8347 阅读 · 5 评论 -
CentOS 64位安装配置Hadoop-2.6.0
[root@master ~]# uname -aLinux master.hadoop 2.6.32-431.el6.x86_64 #1 SMP Fri Nov22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux[root@master ~]# cat /etc/issueCentOS release 6.5 (Final)三台主原创 2015-05-04 22:56:43 · 4517 阅读 · 0 评论 -
停止Hadoop时报no datanode to stop问题解决
现象:当停止Hadoop的时候发现no datanode to stop的信息。原因1:每次namenode format会重新创建一个namenodeId,而hadoop.tmp.dir下包含了上次format生成的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录原创 2015-05-11 16:16:49 · 5041 阅读 · 0 评论 -
hadoop2.6.0的eclipse插件编译和设置
1.编译hadoop2.6.0的eclipse插件下载源码:git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git编译源码:cd src/contrib/eclipse-plugin ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -原创 2015-06-01 11:03:36 · 3591 阅读 · 0 评论 -
使用HDFS API列出目录下的所有文件
package mytest;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.F原创 2015-06-02 21:12:34 · 5768 阅读 · 0 评论