Hadoop集群部署

Hadoop集群部署

 

虚拟机演示

1). Hadoop集群规划

1. HDFS: NN DN (NameNode DataNode)
2. YARN: RM NM (ResourcesManger NodeManger)
3. 部署三台集群

主机名	IP	MAC地址(可选)	部署节点
hadoop000	192.168.10.180	00:50:56:2F:3D:84	NN、RM、DN、NM
hadoop001	192.168.10.181	00:50:56:3A:FD:56	DN、NM
hadoop002	192.168.10.182	00:50:56:2D:82:A0	DN、NM

根据以上信息配置网卡信息，使之能相互ping通

2). hostname映射关系

每台都要设置

1. 创建账户hadoop并授权,禁用防火墙

[? !]# useradd hadoop
[? !]# passwd hadoop

[? !]# chmod -v u+w /etc/sudoers
[? !]# vim /etc/sudoers 
hadoop  ALL=(ALL)       ALL # 添加的内容

[? !]# chmod -v u-w /etc/sudoers

[? !]# sudo systemctl status firewalld
[? !]# sudo systemctl stop firewalld
[? !]# sudo systemctl disable firewalld

1. 每个节点创建对应的文件夹以备使用

[? ~]$ mkdir software   存放所使用的软件安装包
[? ~]$ mkdir app        存放所有软件的安装目录
[? ~]$ mkdir data       存放使用的数据
[? ~]$ mkdir lib        存放开发过的作业jar存放的目录
[? ~]$ mkdir shell      存放相关的脚本
[? ~]$ mkdir maven_resp 存放使用到的maven依赖包存放的目录

// mkdir software app data lib shell maven_resp

1. sudo vim /etc/hostname: 修改hostname

分别修改hadoop000/hadoop001/hadoop002，修改后执行如下命令

[? ~]$ hostname hadoop000 # 其他类似

1. sudo vim /etc/hosts： ip和hostname的映射关系

建议ip和域名中间以tab键分割 (我测试的localhost必须是127.0.0.0；配成其他的就会有问题？)

# hadoop000
127.0.0.1  localhost
192.168.10.180  hadoop000
192.168.10.181  hadoop001
192.168.10.182  hadoop002

# hadoop001
127.0.0.1  localhost
192.168.10.180  hadoop000
192.168.10.181  hadoop001
192.168.10.182  hadoop002

# hadoop002
127.0.0.1  localhost
192.168.10.180  hadoop000
192.168.10.181  hadoop001
192.168.10.182  hadoop002

3). 安装ssh,设置免密登录

主节点hadoop000免密登录其他节点的配置

1. ssh免密码登陆：每台都要设置

[? ~]$ ssh-keygen -t rsa
# 然后一路回车

1. 只在hadoop000机器上进行操作

配置hadoop000登录其他节点免密码登录的ssh验证 (配置对应远程的用户名地址和密码,远程必须在线)

[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000
[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

4). JDK安装

1. 先在hadoop000机器上部署了jdk
2. 将jdk/bin配置到系统环境变量

# 参考案例
[? ~]$ vim ~/.bash_profile
export JAVA_HOME=${安装的jdk根路径}
export PATH=$PATH:$JAVA_HOME/bin

# 退出后
[? ~]$ source ~/.bash_profile

1. 将jdk拷贝到其他节点上去(从hadoop000机器出发)

[? ~]$ scp -r $JAVA_HOME hadoop@hadoop001:$JAVA_HOME
[? ~]$ scp -r $JAVA_HOME hadoop@hadoop002:$JAVA_HOME

[? ~]$ scp ~/.bash_profile hadoop@hadoop001:~/
[? ~]$ scp ~/.bash_profile hadoop@hadoop002:~/

然后在每个节点终端执行source ~/.bash_profile

5). Hadoop部署

将hadoop000上安装配置环境变量后拷贝到其他节点上，在各个节点配置如下信息

1. vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=${JAVA_HOME} # 改成上述配置的路径

1. vim $HADOOP_HOME/etc/hadoop/core-site.xml

文件系统的地址

<property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop000:8020</value>
</property>

1. vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

文件路径的存放地址

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/app/tmp/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/app/tmp/dfs/data</value>
</property>

1. vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop000</value>
</property>

1. vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

1. vim $HADOOP_HOME/etc/hadoop/slaves

配置从节点信息

hadoop000
hadoop001
hadoop002

1. 分发hadoop到其他机器

[? ~]$ scp -r /home/hadoop/app/hadoop-2.6.0-cdh5.15.1 hadoop@hadoop001:~/app/
[? ~]$ scp -r /home/hadoop/app/hadoop-2.6.0-cdh5.15.1 hadoop@hadoop002:~/app/

[? ~]$ vim ~/.bash_profile # 添加修改如下信息
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-chd5.15.1
export PATH=$JAVA_HOME:$HADOOP_HOME/bin:$PATH

[? ~]$ scp ~/.bash_profile hadoop@hadoop001:~/
[? ~]$ scp ~/.bash_profile hadoop@hadoop002:~/

source .bash_profile # 每个终端都要执行

1. NN(NameNode)初始格式化：

欢迎进入大数据学习扣群522189307，一起学习交流hadoop000下执行一次即可；其他节点不要执行，否则需要删除上述配置的dfs.datanode.data.dir目录然后再执行。

[? ~]$ hadoop namenode -format

1. 启动HDFS

hadoop000下执行一次即可

[? ~]$ sh $HADOOP_HOME/sbin/start-dfs.sh

1. 启动YARN

hadoop000下执行一次即可

[? ~]$ sh $HADOOP_HOME/sbin/start-yarn.sh