大数据学习02——Hadoop集群搭建

1. 软件配置

1.1 配置主机名

​ 利用xshell工具，使用命令hostnamectl set-hostname进行修改主机名，重新连接后生效。使用hostname查看主机名。

• 对第一台机器：hostnamectl set-hostname master
  
• 对第二台机器：hostnamectl set-hostname slave
  

1.2 配置host列表

• 对master：输入命令[root@master ~]# vi /etc/hosts

• 对slave： 输入命令[root@slave ~]# vi /etc/hosts

将下面两行追加到文件中，保存并退出。

192.168.21.105 master 192.168.21.106 slave

进行验证：

• [root@master ~]# ping slave
  
• [root@slave ~]# ping master
  

1.3 安装jdk

利用xftp工具将jdk和hadoop安装包上传到master和slave机器中，两台机器做相同的操作，以master为例：

• 安装包上传好后，进行查看。
  
• 执行如下命令进行解压（注意在root目录下进行，可以使用命令pwd进行查看）

[root@master ~]# tar -xvf jdk-8u221-linux-x64.tar.gz

[root@master ~]# tar -xvf hadoop-2.6.5.tar.gz

• 配置路径

执行命令[root@master ~]# vi .bash_profile

添加如下两行：

export JAVA_HOME=/root/jdk1.8.0_221 export PATH=$JAVA_HOME/bin:$PATH

执行命令[root@master ~]#source .bash_profile使之生效；然后进行校验，出现如下界面证明jdk安装并配置成功。

1.4 关闭防火墙

关闭防火墙[root@master ~]# systemctl stop firewalld（开机后自动还原）

禁止防火墙开机启动[root@master ~]# systemctl disable firewalld

查看防火墙状态[root@master ~]# systemctl status firewalld,出现如下界面说明设置成功！

防火墙相关的命令

命令	说明
systemctl status firewalld	查看防火墙
systemctl stop firewalld	关闭防火墙（开机自动还原）
systemctl disable firewalld	禁止防火墙开机启动
systemctl start firewalld	启动防火墙
systemctl enable firewalld	允许防火墙开机启动

1.5 免秘钥登录

• 在master和slave节点，分别执行命令[root@master ~]# ssh-keygen -t rsa，一路默认回车。
  

• 在master节点

  复制公钥到本地：

[root@master .ssh]# cp id_rsa.pub authorized_keys

​ 远程分发公钥到slave：

[root@master .ssh]# scp -p id_rsa.pub root@slave:/root/.ssh/authorized_keys

• 在slave节点

进入到./root/.ssh路径下修改文件属性：

[root@slave .ssh]# chmod 600 authorized_keys

• 验证

在master节点上，[root@master .ssh]# ssh slave

接着验证[root@master .ssh]# ssh master

此时说明免密钥登录设置成功！

2. Hadoop配置部署

2.1 配置环境变量

进入到/root/hadoop-2.6.5/etc/hadoop目录下

• 配置hadoop-env.sh

[root@master hadoop]# vi hadoop-env.sh找到如下内容，

# The java implementation to use. export JAVA_HOME=${JAVA_HOME}

将其修改为：

# The java implementation to use. export JAVA_HOME=/root/jdk1.8.0_221/ 保存退出。

• 配置yarn-env.sh

[root@master hadoop]# vi yarn-env.sh找到如下内容

# some Java parameters

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

将其修改为

# some Java parameters export JAVA_HOME=/root/jdk1.8.0_221/保存退出。

2.2 配置核心组件

• 配置core-site.xml

执行命令[root@master hadoop]# vi core-site.xml 添加如下内容：

<configuration> 
	<property> 
		<name>fs.defaultFS</name> 
		<value>hdfs://master:9000</value> 
	</property> 
	<property> 
		<name>hadoop.tmp.dir</name> 
		<value>/root/hadoopdata</value> 
	</property> 
</configuration> 

2.3 配置文件系统

• 配置hdfs-site.xml

执行命令[root@master hadoop]# vi hdfs-site.xml 添加如下内容：

<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

• 配置yarn-site.xml

执行命令[root@master hadoop]# vi yarn-site.xml 添加如下内容：

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master:8040</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master:8141</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master:8088</value> 
</property>

2.4 配置计算框架

配置mapred-site.xml

执行命令[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

执行命令[root@master hadoop]# vi mapred-site.xml添加如下内容

<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property> 

2.5 配置slaves文件

执行命令[root@master hadoop]# vi slaves

将localhost替换为slave

2.6 将hadoop-2.6.5复制到slave上

[root@master hadoop]# cd [root@master ~]# scp -r hadoop-2.6.5 root@slave:~/

2.7 配置hadoop启动系统环境变量

[root@master ~]# vi .bash_profile 添加如下内容：

export HADOOP_HOME=/root/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@master ~]# source .bash_profile

3. 启动Hadoop集群

3.1 格式化文件系统

在master上[root@master ~]# hdfs namenode -format

3.2 启动hadoop集群

[root@master sbin]# ./start-all.sh

[root@master sbin]# jps

[root@slave ~]# jps

3.3 实例验证

进入到/root/hadoop-2.6.5/share/hadoop/mapreduce 路径下

[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 10 10

3.4 浏览器验证

在浏览器地址栏输入http://master:50070/，出现如下页面，证明集群搭建成功！！！