4、配置hadoop2.6.0

前面将ip和ssh配置好了,下面配置hadoop的配置文件:


在/etc并没有发现mapred.site.xml这个文件,只有个模板文件,那就自己创建个

推荐看官网的配置步骤,现在网上配置2.6.0比较混乱

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

1、配置 etc/hadoop/hadoop-env.sh   配置jdk

    2.6.0默认的都是64位系统的,如果用32位的机器会出现警告,但不影响


# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71

2、配置etc/hadoop/core-site.xml      配置namenode,nameode是记录各节点信息的几点,相当master

<configuration>
  <property>     
                <name>fs.default.name</name>     
                <value>hdfs://192.168.159.131:9000</value>     
        </property>  
</configuration>

3、创建mapred.site.xml直接vi mapred.site.xml就可以创建   配置jobtracker各任务节点

   复制模板上的内容,并修改,namenode也可作为tracker节点

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.159.131:9001</value>
</property>
</configuration>

4、修改hdfs-site.xml  分布式文件系统,datanode节点

<configuration>
<property>  
                <name>dfs.replication</name>  
                <value>2</value>  
        </property>
</configuration>

5、masters 2.6.0里面也没有masters有slaves

配置masters:

vi masters

skx1


6、配置slaves

skx2

skx3


7、将配置好的hadopop目录拷贝到skx2和skx3中,

     3台jdk的路径相同

     scp -r ./hadoop-2.6.0 skx2:/home/hadoop
    scp -r ./hadoop-2.6.0 skx3:/home/hadoop


8、格式化 namenode   131节点上

 bin/hadoop namenode -format


9、启动

sbin/start-all.sh 

发现出现以下异常:using builtin-java classes where applicable

网上查了原因说,hadoop使用32位编译的,而我的电脑是64位的,是不是有点坑爹,赶明下载源码重新编译;


网上下载64位的hadoop,重新执行以上操作,能够启动

$ sbin/stop-all.sh 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值