前面将ip和ssh配置好了,下面配置hadoop的配置文件:
在/etc并没有发现mapred.site.xml这个文件,只有个模板文件,那就自己创建个
推荐看官网的配置步骤,现在网上配置2.6.0比较混乱
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
1、配置 etc/hadoop/hadoop-env.sh 配置jdk
2.6.0默认的都是64位系统的,如果用32位的机器会出现警告,但不影响
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、配置etc/hadoop/core-site.xml 配置namenode,nameode是记录各节点信息的几点,相当master
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.159.131:9000</value>
</property>
</configuration>
3、创建mapred.site.xml直接vi mapred.site.xml就可以创建 配置jobtracker各任务节点
复制模板上的内容,并修改,namenode也可作为tracker节点
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.159.131:9001</value>
</property>
</configuration>
4、修改hdfs-site.xml 分布式文件系统,datanode节点
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
5、masters 2.6.0里面也没有masters有slaves
配置masters:
vi masters
skx1
6、配置slaves
skx2
skx3
7、将配置好的hadopop目录拷贝到skx2和skx3中,
3台jdk的路径相同
scp -r ./hadoop-2.6.0 skx2:/home/hadoop
scp -r ./hadoop-2.6.0 skx3:/home/hadoop
8、格式化 namenode 131节点上
bin/hadoop namenode -format
9、启动
sbin/start-all.sh
发现出现以下异常:using builtin-java classes where applicable
网上查了原因说,hadoop使用32位编译的,而我的电脑是64位的,是不是有点坑爹,赶明下载源码重新编译;
网上下载64位的hadoop,重新执行以上操作,能够启动
$ sbin/stop-all.sh