Hadoop学习四:hadoop分布式环境搭建

Hadoop学习四:hadoop分布式环境搭建

标签(空格分隔): hadoop


一,环境准备

1,删除/opt/app/hadoop-2.5.0/share/doc目录(该目录很占空间)

rm -rf doc/

2,关闭虚拟机

[root@hadoop001 hadoop-2.5.0]# halt

3,克隆虚拟机(hadoop002 hadoop003)

截图06.png-143.7kB

截图07.png-115kB

截图08.png-118.4kB

截图09.png-112.6kB

截图10.png-120.1kB

截图11.png-114.7kB

4,IP和主机名的关系
hadoop001.com.cn—-192.168.44.100
hadoop002.com.cn—-192.168.44.102
hadoop003.com.cn—-192.168.44.103

二,分布式环境搭建(针对克隆)

1,修改主机名称

[root@hadoop001 Desktop]# vi /etc/sysconfig/network

截图12.png-7.7kB

2,修改mac地址

[root@hadoop001 Desktop]# vi /etc/udev/rules.d/70-persistent-net.rules 

修改后的文件如下:
截图13.png-29.1kB

3,修改IP地址

[root@hadoop001 Desktop]# setup

截图14.png-47.6kB

4, 修改网卡文件配置

[root@hadoop001 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

删除UUID和HWADDR后如下:
截图15.png-18.8kB

5,重启机器生效

三,角色分配

namenode
secondarynamenode
datanode
resourcemanager
nodemanager
historyserver

hadoop001.com.cn (namenode datanode nodemanage)
hadoop002.com.cn (datanode nodemanage resourcemanage)
hadoop003.com.cn (datanode nodemanage secondarynamenode historyserver)

四,安装配置

1,修改本地hosts文件

vi /etc/hosts
192.168.44.100 hadoop001.com.cn hadoop001
192.168.44.102 hadoop002.com.cn hadoop002
192.168.44.103 hadoop003.com.cn hadoop003

2,配置无秘钥登陆
hadoop001—>hadoop001,hadoop002,hadoop003
hadoop002—>hadoop001,hadoop002,hadoop003

ssh-keygen -t rsa   //生成秘钥
cd 
cd .ssh/
ssh-copy-id hadoop001.com.cn   //将秘钥拷贝到其他服务器上

3,配置NTP服务器—用于保持各个服务器之间的时间同步
hadoop001.com.cn

 [root@hadoop001 .ssh]# rpm -qa|grep ntp

001.PNG-33kB

 vi /etc/ntp.conf

002.PNG-48.6kB

003.PNG-28.5kB

 vi /etc/sysconfig/ntpd 

添加 SYNC_HWCLOCK=yes

004.PNG-22.8kB

修改系统的时间和当前时间一致

 ntpdate 0.centos.pool.ntp.org

启动服务

service ntpd start
chkconfig ntpd on   //开机自动启动

配置其他服务器和hadoop001.com.cn的时间一致

crontab -e
---------
*/10 * * * * /usr/sbin/ntpdate hadoop001.com.cn
---------
service crond restart

4,配置namenode和secondarynamenode
在hadoop001.com.cn服务器上修改hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop001.com.cn:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop003.com.cn:50090</value>
    </property>
</configuration>

5,配置datanode
在hadoop001.com.cn服务器上修改slaves文件

hadoop001.com.cn
hadoop002.com.cn
hadoop003.com.cn

6,配置resourcemanager
修改yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop002.com.cn</value>
    </property>
</configuration>

7,配置historyserver
修改mapred-site.xml文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop003.com.cn:19888</value>
    </property>
</configuration>

8,将hadoop001.com.cn服务器上的hadoop安装包复制到hadoop002.com.cn和hadoop003.com.cn上面

[hadoop001@hadoop001 app]$ scp -r hadoop-2.5.0/ hadoop002.com.cn:/opt/app/

[hadoop001@hadoop001 app]$ scp -r hadoop-2.5.0/ hadoop003.com.cn:/opt/app/

9,启动集群

bin/hdfs namenode -format
sbin/start-all.sh

005.PNG-33.8kB

006.PNG-19.8kB

007.PNG-25.2kB

10,查看集群
http://hadoop001.com.cn:50070/dfshealth.html#tab-overview

008.PNG-32.6kB

bin/hdfs dfs -put etc/hadoop/core-site.xml /

bin/hdfs dfs -ls /

009.PNG-74.8kB

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forrestxingyunfei

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值