大数据环境准备hadoop集群搭建(三节点)

最新推荐文章于 2022-03-14 18:27:22 发布

BB侠的大数据之旅

最新推荐文章于 2022-03-14 18:27:22 发布

阅读量1.5k

点赞数 3

分类专栏：大数据 Hadoop 文章标签：大数据 hadoop linux

本文链接：https://blog.csdn.net/qq_34577182/article/details/114256436

版权

大数据同时被 2 个专栏收录

15 篇文章 0 订阅

订阅专栏

Hadoop

5 篇文章 0 订阅

订阅专栏

前言

接上一篇大数据服务器环境准备。

1. 安装大数据集群前的环境准备

三台虚拟机关闭防火墙
三台机器执行以下命令（root用户来执行）

systemctl stop firewalld
systemctl disable firewalld

三台机器关闭selinux
三台机器执行以下命令关闭selinux

vi /etc/sysconfig/selinux

SELINUX=disabled

三台机器更改主机名
三台机器执行以下命令更改主机名

vi /etc/hostname

第一台机器更改内容

node01

第二台机器更改内容

node02

第三台机器更改内容

node03

三台机器做主机名与IP地址的映射

三台机器执行以下命令更改主机名与IP地址的映射

vi /etc/hosts

192.168.52.100 node01
192.168.52.110 node02
192.168.52.120 node03

三台机器时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
三台机器都安装ntpdate

yum -y install ntpdate

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

三台机器定时任务

crontab -e

添加如下内容

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

三台机器添加普通用户
三台linux服务器统一添加普通用户hadoop，并给以sudo权限，用于以后所有的大数据软件的安装，并统一设置普通用户的密码为 123456

useradd hadoop
passwd hadoop

普通用户的密码设置为123456

三台机器为普通用户添加sudo权限

visudo

hadoop ALL=(ALL)    ALL

三台定义统一目录
定义三台linux服务器软件压缩包存放目录，以及解压后安装目录，三台机器执行以下命令，创建两个文件夹，一个用于存放软件压缩包目录，一个用于存放解压后目录

mkdir -p /kkb/soft   # 软件压缩包存放目录
mkdir -p /kkb/install # 软件解压后存放目录
chown -R hadoop:hadoop /kkb  # 将文件夹权限更改为hadoop用户

创建hadoop用户之后，我们三台机器都通过hadoop用户来进行操作，以后再也不需要使用root用户来操作了

三台机器通过 su hadoop命令来切换到hadoop用户

su hadoop

三台机器hadoop用户免密码登录
第一步：三台机器在hadoop用户下执行以下命令生成公钥与私钥

ssh-keygen -t rsa

执行上述命令之后，按三次Enter键即可生成了

第二步：三台机器在hadoop用户下，执行命令拷贝公钥到node01服务器

ssh-copy-id node01

第三步：node01服务器将公钥拷贝给node02与node03

node01在hadoop用户下，执行以下命令，将authorized_keys拷贝到node02与node03服务器

cd /home/hadoop/.ssh/
scp authorized_keys node02:$PWD
scp authorized_keys node03:$PWD

第四步：验证；从任意节点是否能免秘钥登陆其他节点；如node01免密登陆node02

ssh node02

三台机器关机重启
三台机器在hadoop用户下执行以下命令，实现关机重启

sudo reboot -h now

三台机器安装jdk

使用hadoop用户来重新连接三台机器，然后使用hadoop用户来安装jdk软件
自行下载jdk8的压缩包，然后上传压缩包到第一台服务器的/kkb/soft下面，然后进行解压，配置环境变量即可，三台机器都依次安装即可

cd /kkb/soft/
tar -xzvf jdk-8u141-linux-x64.tar.gz -C /kkb/install/
sudo vim /etc/profile

#添加以下配置内容，配置jdk环境变量
export JAVA_HOME=/kkb/install/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

让修改马上生效

source /etc/profile

建议：三台机器准备好后，打个快照，便于出错后恢复

至此三台机器已完全打通，jdk也已经安装完成，接下来就可以开始安装hadoop和zookeeper的集群了。

3. hadoop集群的安装

这里又一个Hadoop安装包需要自己编译的问题需要注意下：

由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题。

注意：不建议自己编译hadoop源码，直接使用提供的包“hadoop-2.6.0-cdh5.14.2_after_compile.tar.gz”安装部署集群即可。或者自己找资源下载。

编译没有什么技巧，主要跟网络好坏有关。

链接: https://pan.baidu.com/s/1V_Y6uoNXDm80X_UnlasX3g 密码: 3t7m

2. hadoop集群的安装

安装环境服务部署规划

服务器IP	192.168.52.100	192.168.52.110	192.168.52.120
HDFS	NameNode
HDFS	SecondaryNameNode
HDFS	DataNode	DataNode	DataNode
YARN	ResourceManager
YARN	NodeManager	NodeManager	NodeManager
历史日志服务器	JobHistoryServer

第一步：上传压缩包并解压

将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压；第一台机器执行以下命令

cd /kkb/soft/
tar -xzvf hadoop-2.6.0-cdh5.14.2_after_compile.tar.gz -C /kkb/install/

第二步：查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2
bin/hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

sudo yum -y install openssl-devel

第三步：修改配置文件

修改hadoop-env.sh

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim hadoop-env.sh

加入以下内容

export JAVA_HOME=/kkb/install/jdk1.8.0_141

修改core-site.xml

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
    </property>
    <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
</configuration>

修改hdfs-site.xml

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/accept_host</value>
	</property>
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/deny_host</value>
	</property>
	-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
	</property>
	<!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
	</property>
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改mapred-site.xml

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
mv mapred-site.xml.template mapred-site.xml 
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
</configuration>

修改yarn-site.xml

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

修改slaves文件

第一台机器执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim slaves

原内容替换为

node01
node02
node03

第四步：创建文件存放目录

第一台机器执行以下命令

node01机器上面创建以下目录

mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas 
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发scp

scp（secure copy）安全拷贝

可以通过scp进行不同服务器之间的文件或者文件夹的复制

使用语法

scp -r sourceFile  username@host:destpath

node01执行以下命令进行拷贝

cd /kkb/install/
scp -r hadoop-2.6.0-cdh5.14.2/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2/ node03:$PWD

第六步：配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量

三台机器执行以下命令

sudo vim /etc/profile

export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成之后生效

source /etc/profile

第七步：集群启动

1. 格式化集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化操作只有在首次启动的时候需要，以后再也不需要了

node01执行一遍即可

hdfs namenode -format

下图高亮表示格式化成功；
在这里插入图片描述
启动集群有两种方式：①脚本一键启动；②单个进程逐个启动

2. 脚本一键启动

如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

启动集群

node01节点上执行以下命令

第一台机器执行以下命令

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

停止集群：

stop-dfs.sh
stop-yarn.sh

单个进程逐个启动

在主节点上使用以下命令启动 HDFS NameNode： 
hadoop-daemon.sh start namenode 

在每个从节点上使用以下命令启动 HDFS DataNode： 
hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager： 
yarn-daemon.sh start resourcemanager 

在每个从节点上使用以下命令启动 YARN nodemanager： 
yarn-daemon.sh start nodemanager 

以上脚本位于$HADOOP_HOME/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

第八步：浏览器查看启动页面

hdfs集群访问地址

http://192.168.52.100:50070/

yarn集群访问地址

http://192.168.52.100:8088

jobhistory访问地址：

http://192.168.52.100:19888

我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程

1. 所有机器查看进程脚本

在node01服务器的/home/hadoop/bin目录下创建文件xcall

[hadoop@node01 bin]$ cd ~/bin/
[hadoop@node01 bin]$ vim xcall

添加以下内容

#!/bin/bash

params=$@
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
    echo ============= node0$i $params =============
    ssh node0$i "source /etc/profile;$params"
done

然后一键查看进程并分发该脚本

chmod 777  /home/hadoop/bin/xcall
cd /home/hadoop/bin
scp -r xcall node02:$PWD
scp -r xcall node03:$PWD

查看各节点的hadoop进程

xcall jps

在这里插入图片描述
提醒：如果要关闭电脑时，清一定要按照以下顺序操作，否则集群可能会出问题

关闭hadoop集群
关闭虚拟机
关闭电脑

总结

以上就是hadoop集群的完整部署方法，欢迎关注我的公众号。

在这里插入图片描述

BB侠的大数据之旅

关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
3
评论
大数据环境准备hadoop集群搭建(三节点)

文章目录前言1. 安装大数据集群前的环境准备3. hadoop集群的安装2. hadoop集群的安装第一步：上传压缩包并解压第二步：查看hadoop支持的压缩方式以及本地库第三步：修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves文件第四步：创建文件存放目录第五步：安装包的分发scp第六步：配置hadoop的环境变量第七步：集群启动1. 格式化集群2. 脚本一键启动第八步：浏.
复制链接

扫一扫