集群搭建完整版

最新推荐文章于 2024-09-14 09:30:00 发布

方人也口玉又欠

最新推荐文章于 2024-09-14 09:30:00 发布

阅读量2.4k

点赞数 2

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_46587845/article/details/105814068

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

集群搭建完整版

1.集群搭建的准备工作

1.克隆虚拟机（要三台，创建一台 JDK、Hadoop 都安装完成的虚拟机，看 1.1 和 1.2）
2. 修改克隆虚拟机的静态 IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.2
GATEWAY=192.168.1.2
DNS1=192.168.1.2
NAME=eth0
3.修改主机名
vim /etc/sysconfig/network
改 HOSTNAME 字段
改成:
HOSTNAME=hadoop100
4. 关闭防火墙
service iptables stop //服务关闭
chkconfig iptables off //关闭开机自启
5.创建 atguigu 用户(注意：一定要记住登录密码，如果忘记则会导致：
1.无法登录 atguigu 用户
2.后面无法正常使用 scp 命令和 rsync 命令进行拷贝，因为在后面要输入 atguigu 用户的密码，若密码输入错误则会导致拷贝失败（我第一次搭建集群的时候就是在这里挂的！我看视频里面连续敲了六个 1 我也跟着敲了六个 1，但我的密码并不是六个 1，结果拷贝功能无法进行，然后就返回去找错，最后越找越多，只能开始第二遍得到搭建！）如果 atguigu 用户的密码忘记了可以先以 root 用户进入，打开终端，输入 passwd atguigu 即可修改 atguigu 用户的密码，然后输入 reboot 重新启动，密码即为修改后的密码
具体步骤：在终端输入：
useradd atguigu //创建用户
passwd atguigu //设置用户密码
6.配置 atguigu 用户具有 root 权限
具体操作:
把这个用户加到 sudoers
vim /etc/sudoers
atguigu ALL=(ALL) NOPASSWD: ALL
:wq!强制保存

1.1、JDK 的安装

卸载现有 JDK
（1）查询是否安装 Java 软件：

[atguigu@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于 1.7，卸载该 JDK：

[atguigu@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看 JDK 安装路径：

[atguigu@hadoop101 ~]$ which java

用 SecureCRT 工具将 JDK 导入到 opt 目录下面的 software 文件夹下面
在 Linux 系统下的 opt 目录中查看软件包是否导入成功

[atguigu@hadoop101 opt]$ cd software/

[atguigu@hadoop101 software]$ ls hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

解压 JDK 到/opt/module 目录下

[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置 JDK 环境变量
（1）先获取 JDK 路径

[atguigu@hadoop101 jdk1.8.0_144]$ pwd /opt/module/jdk1.8.0_144

（2）打开/etc/profile 文件

[atguigu@hadoop101 software]$ sudo vi /etc/profile \

在 profile 文件末尾添加 JDK 路径

#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export
PATH= $P A T H$ :JAVA_HOME/bin

（3）保存后退出
:wq！
（4）让修改后的文件生效

[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile

测试 JDK 是否安装成功

[atguigu@hadoop101 jdk1.8.0_144]$ java -version
java version “1.8.0_144”

注意：重启（如果 java -version 可以用就不用重启）

[atguigu@hadoop101 jdk1.8.0_144]$ sync [atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot

1.2、hadoop 的安装

用 SecureCRT 工具将 hadoop-2.7.2.tar.gz 导入到 opt 目录下面的 software 文件夹下面切换到 sftp 连接页面，选择 Linux 下编译的 hadoop jar 包拖入
进入到 Hadoop 安装包路径下

[atguigu@hadoop101 ~]$ cd /opt/software/

解压安装文件到/opt/module 下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功

[atguigu@hadoop101 software]$ ls /opt/module/ hadoop-2.7.2

将 Hadoop 添加到环境变量
（1）获取 Hadoop 安装路径

[atguigu@hadoop101 hadoop-2.7.2]$ pwd /opt/module/hadoop-2.7.2

（2）打开/etc/profile 文件

[atguigu@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在 profile 文件末尾添加 JDK 路径：（shitf+g）

##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH= $P A T H :$ HADOOP_HOME/bin export PATH= $P A T H :$ HADOOP_HOME/sbin

（3）保存后退出 :wq！
（4）让修改后的文件生效

[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

测试是否安装成功

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop version Hadoop 2.7.2

重启(如果 Hadoop 命令不能用再重启)

[atguigu@ hadoop101 hadoop-2.7.2]$ sync
[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

2、编写集群分发脚本 xsync

注意：无法使用 scp 和 rsync 进行正常拷贝多半是密码输入错误，切记密码不可乱输入
在这里插入图片描述 此时应该输入 atguigu 用户的密码，若密码不正确就会报错，如果忘记密码可以使用我上面讲述的方法修改 atguigu 用户的密码
1.scp（secure copy）安全拷贝
（1）scp 定义：
scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法
scp -r $p d i r /$ fname $u s e r @ h a d o o p$ host: $p d i r /$ fname 命令递归要拷贝的文件路径/名称目的用户@主机:目的路径/名称
（3）案例实操
（a）在 hadoop101 上，将 hadoop101 中/opt/module 目录下的软件拷贝到
hadoop102 上。

[atguigu@hadoop101 /]$ scp -r /opt/module root@hadoop102:/opt/module

（b）在 hadoop103 上，将 hadoop101 服务器上的/opt/module 目录下的软件拷
贝到 hadoop103 上。

[atguigu@hadoop103 opt]$sudo scp -r atguigu@hadoop101:/opt/module root@hadoop103:/opt/module

（c）在 hadoop103 上操作将 hadoop101 中/opt/module 目录下的软件拷贝到
hadoop104 上。

[atguigu@hadoop103 opt]$ scp -r atguigu@hadoop101:/opt/module root@hadoop104:/opt/module

注意：拷贝过来的/opt/module目录，别忘了在hadoop102、hadoop103、hadoop104 上修改所有文件的，所有者和所有者组。sudo chown atguigu:atguigu -R /opt/module
（d）将 hadoop101 中/etc/profile 文件拷贝到 hadoop102 的/etc/profile 上。

[atguigu@hadoop101 ~]$ sudo scp /etc/profile
root@hadoop102:/etc/profile

（e）将 hadoop101 中/etc/profile 文件拷贝到 hadoop103 的/etc/profile 上。

[atguigu@hadoop101 ~]$ sudo scp /etc/profile
root@hadoop103:/etc/profile

（f）将 hadoop101 中/etc/profile 文件拷贝到 hadoop104 的/etc/profile 上。

[atguigu@hadoop101 ~]$ sudo scp /etc/profile
root@hadoop104:/etc/profile

注意：拷贝过来的配置文件别忘了 source 一下/etc/profile，

2.rsync 远程同步工具
rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更
新。scp 是把所有文件都复制过去。
（1）基本语法
rsync -av $p d i r /$ fname $u s e r @ h a d o o p$ host: $p d i r /$ fname
命令选项参数要拷贝的文件路径/名称目的用户@主机:目的路径/名称
选项参数说明

选项	功能
-a	归档拷贝
-v	显示复制过程

（2）案例实操
（a）把 hadoop101 机器上的/opt/software 目录同步到 hadoop102 服务器的 root
用户下的/opt/目录

[atguigu@hadoop101 opt]$ rsync -av /opt/software/
hadoop102:/opt/software

3.xsync 集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）需求分析：
（a）rsync 命令原始拷贝：
rsync -av /opt/module root@hadoop103:/opt/
（b）期望脚本：
xsync 要同步的文件名称
（c）说明：在/home/atguigu/bin 这个目录下存放的脚本，atguigu 用户可以在系统任何地方直接执行
（3）脚本实现
（a）在/home/atguigu 目录下创建 bin 目录，并在 bin 目录下 xsync 创建文件，文
件内容如下：

[atguigu@hadoop102 ~]$ mkdir bin [atguigu@hadoop102 ~]$ cd bin/
[atguigu@hadoop102 bin]$ touch xsync [atguigu@hadoop102 bin]$ vi xsync

在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if ((pcount==0)); then
echo no args; exit; fi
#2 获取文件名称
p1=$1 fname=basename $p1
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd
echo pdir=$pdir

#4 获取当前用户名称
user=whoami
#5 循环
for((host=102; host<105; host++));
do echo ------------------- hadoop$host --------------
rsync -av $p d i r /$ fname $u s e r @ h a d o o p$ host:$pdir
done

（b）修改脚本
xsync 具有执行权限

[atguigu@hadoop102 bin]$ chmod 777 xsync

（c）调用脚本形式：xsync 文件名称

[atguigu@hadoop102 bin]$ xsync /home/atguigu/bin

注意：如果将 xsync 放到/home/atguigu/bin 目录下仍然不能实现全局使用，可以将xsync 移动到/usr/local/bin 目录下。

3、集群配置

集群部署规划
配置集群
（1）核心配置文件
配置 core-site.xml

[atguigu@hadoop102 hadoop]$ vi core-site.xml

在该文件中编写如下配置
在这里插入图片描述

(2)HDFS 配置文件
配置 hadoop-env.sh

[atguigu@hadoop102 hadoop]$ vi hadoop-env.sh export
JAVA_HOME=/opt/module/jdk1.8.0_144

配置 hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置
在这里插入图片描述
（3）YARN 配置文件
配置 yarn-env.sh

[atguigu@hadoop102 hadoop]$ vi yarn-env.sh export
JAVA_HOME=/opt/module/jdk1.8.0_144

配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置
在这里插入图片描述
（4）MapReduce 配置文件
配置 mapred-env.sh

[atguigu@hadoop102 hadoop]$ vi mapred-env.sh export
JAVA_HOME=/opt/module/jdk1.8.0_144

配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[atguigu@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置
在这里插入图片描述
3．在集群上分发配置好的 Hadoop 配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4．查看文件分发情况

[atguigu@hadoop103 hadoop]$ cat
/opt/module/hadoop2.7.2/etc/hadoop/core-site.xml

4、集群单点启动（我搞得是集群多点启动,在此不做讲解)

5、SSH 无密登录配置

1. 配置 ssh
（1）基本语法
ssh 另一台电脑的 ip 地址
（2）ssh 连接时出现 Host key verification failed 的解决方法

[atguigu@hadoop102 opt] $ ssh 192.168.1.103 The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.
RSA key fingerprint is cf:1e🇩🇪d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.

（3）解决方案如下：直接输入 yes
2. 无密钥配置
（2）生成公钥和私钥：

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102 [atguigu@hadoop102
.ssh]$ ssh-copy-id hadoop103 [atguigu@hadoop102 .ssh]$ ssh-copy-id
hadoop104

注意：
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、 hadoop104；
还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、 hadoop103、hadoop104 服务器上。
3. ssh 文件夹下（~/.ssh）的文件功能解释
在这里插入图片描述

6、群起集群

配置 slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves [atguigu@hadoop102 hadoop]$vi slaves

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[atguigu@hadoop102 hadoop]$ xsync slaves

启动集群
（1）如果集群是第一次启动，需要格式化 NameNode（注意格式化之前，一定要先停止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 log 数据）

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（2）启动 HDFS

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[atguigu@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps

[atguigu@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

（3）启动 YARN

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启
动 YARN，应该在 ResouceManager 所在的机器上启动 YARN。
（4）查看：
在浏览器中打开
输入：hadoop102：50700
在这里插入图片描述
说明成功
3. 集群基本测试
（1）上传文件到集群
上传小文件

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -mkdir -p
/user/atguigu/input
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -put
wcinput/wc.input /user/atguigu/input

上传大文件

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu/input

显示结果：
在这里插入图片描述
（2）上传文件后查看文件存放在什么位置
（a）查看 HDFS 文件存储路径

[atguigu@hadoop102 subdir0]$ pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

（b）查看 HDFS 在磁盘存储文件内容

[atguigu@hadoop102 subdir0]$ cat blk_1073741825 hadoop yarn hadoop
mapreduce
atguigu
atguigu

（3）拼接
-rw-rw-r–. 1 atguigu 134217728 5 月 23 16:01 blk_1073741836
-rw-rw-r–. 1 atguigu 1048583 5 月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r–. 1 atguigu 63439959 5 月 23 16:01 blk_1073741837 -rw-rw-r–. 1 atguigu 495635 5 月 23 16:01 blk_1073741837_1013.meta

[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.file

（4）下载

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get
/user/atguigu/input/hadoop-2.7.2.tar.gz ./

7、配置历史服务器和日志聚集功能

7.1、配置历史服务器
1.配置 mapred-site.xml

[atguigu@hadoop101 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置。
在这里插入图片描述

在这里插入图片描述
2. 启动历史服务器
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistorydaemon.sh start historyserver
3. 查看历史服务器是否启动

[atguigu@hadoop101 hadoop-2.7.2]$ jps

7.2、配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryManager。
开启日志聚集功能具体步骤如下：

配置 yarn-site.xml

[atguigu@hadoop101 hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置。
在这里插入图片描述
2. 关闭 NodeManager 、ResourceManager 和 HistoryServer

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$
sbin/mr-jobhistorydaemon.sh stop historyserver

启动 NodeManager 、ResourceManager 和 HistoryServer

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistorydaemon.sh start historyserver

删除 HDFS 上已经存在的输出文件

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R
/user/atguigu/output

执行 WordCount 程序

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount
/user/atguigu/input /user/atguigu/output

8、集群时间同步（与 hadoop 集群的关系不大）

1.时间服务器配置（必须 root 用户）
从 atguigu 用户切换到 root 用户：
先输入以下命令，然后再输入 root 用户的密码即可切换到 root 用户
在这里插入图片描述

（1）检查 ntp 是否安装

[root@hadoop102 ~]# rpm -qa|grep ntp

ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64

（2）修改 ntp 配置文件

[root@hadoop102 ~]# vi /etc/ntp.conf

修改内容如下
a）修改 1（授权 192.168.1.0-192.168.1.255 网段上的所有机器可以从这台机器上查询和同步时间）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改 2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst 为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群
中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改/etc/sysconfig/ntpd 文件