Hadoop3.2.1集群搭建(看完就会的那种)

Hadoop3.2.1单节点集群搭建

本次集群搭建使用了三台服务器，一个主节点，两个从节点

准备工作

确保三台服务器之间互相能ping通，安装好JDK环境(JDK1.8)

一： 设置主机名称

hostnamectl set-hostname 主机名
#主节点的主机名设置为hadoop1，两个从节点的主机名设置为hadoop2以及hadoop3
# eg:hostnamectl set-hostname hadoop1

二： 修改hosts文件添加ip映射关系

# 使用如下命令修改hosts文件
vim /etc/hosts
节点ip  主机名  

三：配置免密登录

以hadoop1为例，其他节点与此操作相同

# 执行命令 一路回车
ssh-keygen -t rsa

# 生成密钥以后执行如下命令
# 在hadoop1，hadoop，hadoop3中都执行下面这三条命令
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2
ssh-copy-id -i hadoop3
 # 注意：ssh默认端口号是22，如果服务端口号不是22，使用 -p来指定端口号
 #例如： ssh-copy-id -p 60022 hadoop1, 如果提示需要输入密码，输入服务器密码

四：关闭防火墙

#关闭防火墙
systemctl stop firewalld
#禁止开机启用防火墙
systemctl disable firewalld

五：hadoop集群的安装

准备：Hadoop3.2.1的安装包，可以从官网上进行下载

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

5.1 解压hadoop的压缩包，(自定义解压目录)

# 先将压缩包移动到自定义目录下，再使用压缩命令进行解压

# 也可以使用 tar -zxvf 解压文件所在的目录/文件  -C  解压后的目录

5.2 修改配置文件，hadoop的配置文件在hadoop解压目录的etc/hadoop目录中

5.2.1 修改hadoop-env.sh文件，增加环境变量信息

vim hadoop-env.sh
# 添加如下信息，这两个目录根据自己的配置而定
export JAVA_HOME=/usr/local/java
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

5.2.2 修改core-site.xml文件

vim core-site.xml
# 添加如下配置：注意fs.defaultFS属性中的主机名需要和你配置的主机名保持一致
<configuration>
#这个属性用来指定namenode的hdfs协议的文件系统通信地址，指定一个主机+端口
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
# 指定文件存储的目录   
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
    </property>
</configuration>

5.2.3修改hdfs-site.xml文件

vim hdfs-site.xml
# 添加如下配置
<configuration>
# hdfs的副本数设置。也就是上传一个文件，其分割为block块后，每个block的冗余副本个数，一般跟datanode节点数相等
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
 #secondary namenode的http通讯地址
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:50090</value>
    </property>
</configuration>

5.2.4 修改 mapred-site 文件

vim mapred-site.xml
# 添加如下配置
<configuration>
# 指定mr框架为yarn方式,Hadoop二代MP也基于资源管理系统Yarn来运行
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5.2.5 修改yarn-site.xml

vim yarn-site.xml
# 添加如下配置：
<configuration>
# 这里面主要指定了一些节点资源管理器nodemanager，以及总资源管理器resourcemanager的配置
# yarn是为了支持mapreduce这个模型
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  # yarn总管理的主机
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
  </property>
</configuration>

5.2.6 修改workers文件

vim workers
# 删除文件中默认的localhost，然后添加从节点的主机名
hadoop2
hadoop3

5.3 修改启动脚本，要修改的文件在hadoop解压目录中sbin目录下

5.3.1 修改start-dfs.sh，stop-dfs.sh这两个脚本文件在文件中前面都增加如下内容：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

5.3.2 修改start-yarn.sh，stop-yarn.sh这两个文件在文件前面增加如下内容：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

5.4 将这台机器的配置拷贝到其他两台服务器(hadoop和环境变量的配置)

# -P 指定端口号 -r表示递归复制 hadoop2表示主机名

# 拷贝hadoop
scp -P 60022 -r /opt/software/ root@hadoop2:/opt
scp -P 60022 -r /opt/software/ root@hadoop3:/opt
# 拷贝环境变量
scp -P 60022 -r /etc/profile root@hadoop2:/etc
scp -P 60022 -r /etc/profile root@hadoop3:/etc

# 注意： 如果端口号为默认端口号，去掉-P 60022即可

六 格式化namenode

# 在hadoop1 中切换到hadoop的解压目录下，执行如下命令
bin/hdfs namenode -format

# 如果能看到这个表示格式化成功

七 启动集群

# 在主机点(hadoop1)的解压目录下执行如下命令
sbin/start-all.sh

# 如果出现以下异常，则需要指定端口号
hadoop2: ssh: connect to host hadoop2 port 22: Connection refused
pdsh@hadoop1: hadoop2: ssh exited with exit code 255
hadoop3: ssh: connect to host hadoop3 port 22: Connection refused
pdsh@hadoop1: hadoop3: ssh exited with exit code 255

# 解决办法：在hadoop的配置文件hadoop-env.sh(在解压hadoop解压目录的etc/hadoop目录中)中添加
export HADOOP_SSH_OPTS="-p 60022"
# 再次启动集群

八： 验证集群

# 使用jps这个命令来查看三个节点中已启动的进程来验证集群是否成功
# 也可以使用 http://节点ip：8088来进行访问验证 (节点ip需要你的主节点ip)
# 查看各个节点的磁盘大小  在namenode的hadoop解压目录的bin目录下
./hdfs dfsadmin -report

adoop目录中)中添加
export HADOOP_SSH_OPTS="-p 60022"

再次启动集群

### 八： 验证集群

```yaml
# 使用jps这个命令来查看三个节点中已启动的进程来验证集群是否成功
# 也可以使用 http://节点ip：8088来进行访问验证 (节点ip需要你的主节点ip)
# 查看各个节点的磁盘大小  在namenode的hadoop解压目录的bin目录下
./hdfs dfsadmin -report