CDH 分布式环境搭建

最新推荐文章于 2024-06-12 18:02:46 发布

小埋璐璐

最新推荐文章于 2024-06-12 18:02:46 发布

阅读量282

点赞数 3

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/malu_/article/details/102890846

版权

大数据专栏收录该内容

16 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在CDH基础上搭建分布式集群，包括上传和解压Hadoop压缩包，检查压缩方式，修改配置文件，创建目录，分发安装包，配置环境变量，启动HDFS和YARN，以及通过脚本自动化启动过程。最后提供了HDFS和YARN的监控页面访问地址。

摘要由CSDN通过智能技术生成

CDH 分布式环境搭建

目标：搭建基于CDH的分布式集群

安装环境服务部署规划
在这里插入图片描述

第一步：上传压缩包并解压

将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压
第一台机器执行以下命令
cd /export/softwares/

mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/

第二步：查看Hadoop支持的压缩方式以及本地库

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative
在这里插入图片描述如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
yum -y install openssl-devel

第三步：修改配置文件

修改core-site.xml
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

fs.defaultFS hdfs://node01:8020 hadoop.tmp.dir /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas io.file.buffer.size 4096

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
	<name>fs.trash.interval</name>
	<value>10080</value>
</property>

修改hdfs-site.xml
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

dfs.blocksize 134217728

修改Hadoop-env.sh
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
修改mapred-site.xml
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

mapreduce.framework.name yarn

<property>
	<name>mapreduce.job.ubertask.enable</name>
	<value>true</value>
</property>

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node01:10020</value>
</property>

<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node01:19888</value>
</property>

修改yarn-site.xml
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle

修改slaves文件
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

node01
node02
node03

第四步：创建文件存放目录

第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发

第一台机器执行以下命令
cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02: $P W D s c p - r h a d o o p - 2.6.0 - c d h 5.14.0 / n o d e 03 :$ PWD

第六步：配置Hadoop的环境变量

三台机器都要进行配置Hadoop的环境变量
三台机器执行以下命令
vim /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=: $HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile

第七步：集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
bin/hdfs namenode -format或者bin/Hadoop namenode –format 在这里插入图片描述
单个节点逐一启动
在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode
在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode
在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh start resourcemanager
在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
node01节点上执行以下命令
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh

停止集群：没事儿不要去停止集群
sbin/stop-dfs.sh
sbin/stop-yarn.sh