转载老师写的一篇配置hadoop完全分布式环境搭建

完全分布式

附一篇链接https://www.pianshen.com/article/787815232/

1.安装系统配置网络测试网络

• 修改网络信息

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ip地址   子网掩码  默认网关

注：

1、ip地址写子网IP，设置新的

2、NAT网络连接模式：控制面板 --> 网络于共享中心 --> 打开VMnet8 配置网络ip

 

• 设置dns服务，www.baidu.com   域名解析成IP地址 

vi /etc/resolv.conf

 

• service network restart命令，重启网络服务

  

ping www.baidu.com  成功

 

 

 

 

 

2.关闭防火墙

service iptables stop

关闭防火墙自启

chkconfig iptables off

注意：所有的机器防火墙都要关

 

 

 

3.时间同步

一、查看系统时间

查看系统时间的命令： date

二、查看硬件时间

查看硬件时间的命令：  hwclock

三、时间服务器上的时间同步的方法

1.  安装ntpdate工具

# yum -y install ntp ntpdate

2.  设置系统时间与网络时间同步

# ntpdate cn.pool.ntp.org

1.  将系统时间写入硬件时间

date 命令测试  和网络时间一直即可

 

 

 

 

4.克隆系统

• 主节点关闭系统

记得快照

 init 0 

• 计算机名-->右击管理-->克隆
• 配置克隆网络

①、由于是完全的克隆过来的 Linux 所以需要更改这几项：操作系统物理地址、IP地址、主机名

②、删除网卡中的UUID和物理地址HWADDR（这两行在Linux重启之后，操作系统会自动生成的）

1、以 root 用户登录 ，输入如下命令：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

将IP改为192.168.66.44，55去掉 UUID 和 HWADDR 这两行

2、接下来修改主机名：在命令中输入

vi /etc/sysconfig/network

修改为：HOSTNAME=bigdata44    55

记得修改下masternode1的主机名（安装时没有修改过）

      bigdata33

3、删除Linux物理地址绑定的文件（该文件会在操作系统重启并生成物理地址以后将物理地址绑定到IP上）

rm -rf /etc/udev/rules.d/70-persistent-net.rules

4、输入 shutdown -r now   或者init 6 重启系统

5、修改两台系统主机和ip映射文件

vi  /etc/hosts

内容回车一行再 容易出错

192.168.66.33     bigdata33

192.168.66.44     bigdata44

192.168.66.55     bigdata55

 

 

 

 

5.免密钥操作

配置免密登录(scp 无法传递的原因是hosts写错了重写看不出来)

1 生成密钥

ssh-keygen -t rsa # 一路回车 在所有服务器上敲这个（地址为/root/.ssh）1

将集群中的所有公钥集中到某台机器，生成免密授权登录文件

2 传递

55:

bash

scp ~/.ssh/id_rsa.pub master:/root/.ssh/slave1

44:

bash

scp ~/.ssh/id_rsa.pub master:/root/.ssh/slave2

33

3 写入相同文件输出设备

cat id_rsa.pub >> authorized_keys

cat slave1 >> authorized_keys

cat slave2 >> authorized_keys

4修改权限

chmod 600 authorized_keys # 必须改，不然不能免密登录

将授权列表分发给44和55

scp ~/.ssh/authorized_keys 44:/home/hduser/.ssh/authorized_keys

scp ~/.ssh/authorized_keys 55:/home/hduser/.ssh/authorized_keys

5测试免密钥结果

Ok标志 ssh  112  ssh 113 不用密码就可以了

只要1可以等2 和3就可以了，因为启动hdfs是在1上启动

退出 exit   hostname 看主机名字

whoami  当前登陆用户名

jdk安装

• xftp登陆上传jdk rpm包

在opt包里创建一个software目录并把jdk7放入目录里rpm

• 使用rpm -ivh 命令安装rpm包，安装默认路径

• whereis java  查看Java安装路径

• 查root目录下的bash_profile隐藏文件，准备配环境变量

• 配置环境变量

vi   .bash_profile

 

• 测试环境jdk

 

 

 

 

 

安装hadoop  默认就在当前目录

1 安装源码包用tar -zxvf

Cd  /opt/software     tar  -zxvf hadoop-2.5.1_x64.tar.gz

2 配置环境变量

Vi /root/.bash_profile

export PATH

export JAVA_HOME=/usr/java/jdk1.7.0_79

export HADOOP_HOME=/opt/software/hadoop-2.5.1

 

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3 加载环境变量

Source  /root/.bash_profile     

  

4 修改hadoop-env.sh

[root@masternode1 hadoop]# pwd

/opt/software/hadoop-2.5.1/etc/hadoop

[root@masternode1 hadoop]# ls hadoop-env.sh

hadoop-env.sh

[root@masternode1 hadoop]#

Vi hadoop-env.sh

Java路径可以使用复制当前ssh窗体生成个新的窗体并进入.bash_profile复制

 

 

 

 

完全分布式配置信息

hadoop-env.sh 和 yarn-env.sh

添加JAVA_HOME

 

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

 

 

删除hadoop 目录子节点上

测试格式化没有没有问题（正常再44，55机子上安装hadoop目录找到删了）

/opt/software     rm -rf hadoop2.5.1

然后ls  没有了 

 

 

传递hadoop安装文件

scp  -r  hadoop-2.5.1  bigdata44:/opt/software

scp  -r  hadoop-2.5.1  bigdata55:/opt/software

配置以下salves名称etc/hadoop salves文件 添加44，55

44，55

注意格式化前后要快照，格式化后要scp 112 113 把原来hadoop删了

注意上面大鱼号小鱼好友错，格式化前后要快照，格式化后要scp 112113 把 原来hadoop删了注意上面大鱼号小鱼好友错，格式化前后要快照，格式化后要scp 112113 把 原来hadoop删了

注意上面大鱼号小鱼好友错，格式化前后要快照，格式化后要scp 112113 把 原来hadoop删了

启动hadoop

# 启动HDFS

start-dfs.sh

# 启动yarn

start-yarn.sh

1

2

3

4

在数据节点上输入ips可以看到节点

在数据节点上输入jps可以看到节点

10. web端测试

HDFS的web端:http://192.168.66.111:50070/

MapReduce的web端: http:///192.168.66:8088

11. hdfs上传下载文件测试

hadoop fs -put aa.txt /

hadoop fs -get /aa.txt