今天装了单机版的Hadoop。
首先从网上下载个hadoop.http://mirror.bjtu.edu.cn/apache/hadoop/core/hadoop-1.1.1/
我下载了个hadoop-1.0.4。解压到/home/liangdiamond用户,我到用户名是liangdiamond。
其实单机版hadoop就是只有一个节点的集群。在这个集群中,这个节点是master也是slave,是namenode也是datanode,是jobtracker也是tasktracker。
解压好了,就开始改配置文件了。
1.指定jdk安装位置
进入conf文件夹,指定jdk到安装位置
gedit hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java7
2.配置HDFS(Hadoop的分布式文件系统)的地址及端口号。
gedit conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.配置HDFS到备份方式,单机版配置为1
gedit conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置JobTracker到地址及端口
gedit conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置好以后,先格式化下Hadoop到文件系统HDFS。
bin/hadoop namenode -format
注意下大小写,要不会报错。错误: 找不到或无法加载主类 NameNode。
启动:
/bin/start-all.sh
打开浏览器验证下:
http://localhost:50030/jobtracker.jsp
http://localhost:50070/dfshealth.jsp