Linux CentOS 大数据集群的基础配置(3) CHD分布式环境搭建

最新推荐文章于 2024-03-26 02:34:14 发布
最新推荐文章于 2024-03-26 02:34:14 发布
阅读量799 收藏 7
点赞数 2
分类专栏： CentOS 文章标签： hadoop集群 CentOS CHD分布式 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42072754/article/details/102842036
版权

在开始之前，确保你具备以下条件：
1，完成了大数据环境基础配置(1)
2，完成了大数据环境基础配置(2)
3，如果你完成了前两项内容，那么现在你应该拥有这个文件。
在这里插入图片描述
4，你现在配置好了3台虚拟主机，主机名和静态ip如下：
第1台主机名为hadoop01 静态ip地址为192.168.100.201
第2台主机名为hadoop02 静态ip地址为192.168.100.202
第3台主机名为hadoop03 静态ip地址为192.168.100.203

5，你的hadoop01为局域网yum源，且hadoop02,hadoop03正确配置yum源。
6，三台虚拟机的时钟是同步的。
7，三台虚拟机分别关闭了防火墙，且关闭了selinux服务

如果你具备以上条件，那么你可以继续进行了。

上传并解压制作好的hadoop包

在每个虚拟机都创建两个目录，servers目录装解压的软件，softwares目录装安装包

mkdir -p /export/softwares
mkdir -p /export/servers

上传hadoop包到hadoop01的/export/softwares目录下
在这里插入图片描述
把它解压到刚才创建的servers目录下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/

在这里插入图片描述

查看Hadoop支持的压缩方式以及本地库

进入解压好的hadoop目录

cd /export/servers/hadoop-2.6.0-cdh5.14.0

输入以下命令

bin/hadoop checknative

在这里插入图片描述
如果出现openssl为false，那么所有虚拟机都安装openssl即可

yum -y install openssl-devel

在这里插入图片描述
安装完毕后，再次执行命令

bin/hadoop checknative

在这里插入图片描述
所有的都是true，ok了。

修改配置文件core-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

在这里插入图片描述
<configuration>新增如下内容：

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

保存退出

修改配置文件hdfs-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>新增如下内容：

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>hadoop01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

保存退出

修改配置文件hadoop-env.sh

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

找到JAVA_HOME
在这里插入图片描述
这里的${JAVA_HOME}可以改为你的jdk绝对路径
在这里插入图片描述
改完之后，保存退出。

修改配置文件mapred-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在这里插入图片描述
<configuration>中添加如下内容

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop01:19888</value>
	</property>

添加完成后，保存退出。

修改配置文件yarn-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>中添加如下内容

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

保存退出

修改slaves配置文件

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

替换为如下内容

hadoop01
hadoop02
hadoop03

保存退出

创建文件存放目录

创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

把配置好的hadoop复制到其它虚拟机上

cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ hadoop02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ hadoop03:$PWD

配置环境变量

注意：在每一台虚拟机上都要配置

vim  /etc/profile.d/hadoop.sh

输入以下内容：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，输入下面的命令，使配置立即生效

source /etc/profile

启动hadoop集群

第一次启动前需要格式化：

hdfs namenode  -format

在这里插入图片描述
单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode：

hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

 yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

 yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
hadoop01节点上执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh
sbin/stop-yarn.sh

脚本一键启动所有
一键启动集群(cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 再执行下面的命令)

sbin/start-all.sh

一键关闭集群

sbin/stop-all.sh

浏览器查看启动页面

浏览器输入以下地址查看集群启动页面

hdfs的访问地址
http://192.168.100.201:50070/dfshealth.html#tab-overview

yarn的访问地址
http://192.168.100.201:8088/cluster

大数据流浪法师
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CHD操作系统复习总结
12-07
操作系统原理及Linux内核分析期末复习总结（李芳）chd软工
CDH大数据平台搭建之KAFKA集群搭建
qq_41924766的博客
06-15 865
CHD大数据平台搭建之KAFKA安装一、安装规划二、下载KAFKA三、安装及配置1、先安装zookeeper2、解压3、新建文件夹4、修改config目录server.properties文件5、配置环境变量6、分发文件四、启动1、启动命令2、验证总结 一、安装规划 请参考CHD大数据平台搭建之集群规划 二、下载KAFKA 1.官网下载 2.网盘下载 提取码：cdh5 注意事项：网盘的是配套的scala和kafka，自行下载注意版本要匹配 三、安装及配置 1、先安装zookeeper 请参考CHD大数据
修正版本 6.3.2 CHD 超详细！搭建本地大数据研发环境（16G内存+CDH）易错见红字
最新发布
fwx02的专栏
03-26 949
工欲善其事必先利其器，在经过大量的理论学习以后，需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境，在家也可以随意的练习。而自学大数据的同学，也可以进行本地练习，大数据是一门偏实践的学科，在找工作之前进行一些实践操作，也更利于对大数据知识的理解。本文将从头开始详细的记录整个大数据环境的搭建过程，本文所使用的笔记本电脑内存为16G，将使用CDH6.3.2管理整个大数据集群。本文共四个部分，一定要保证每一个部分都安装成功以后再向下进行。
对应chd5.14的spark_GitHub - shixiaopengql/BigData-News: 基于Spark2.2新闻网大数据实时系统项目...
weixin_39978350的博客
12-22 177
基于Spark2.2新闻网大数据实时系统项目1. 说明2.环境配置2.1 CDH-5.14.2 (安装步骤可参考地址)，关于版本是按实际操作， CDH的版本兼容性很好。Servicehadoop01hadoop02hadoop03HDFSNameNodeDateNodeDataNodeHBaseHMaster、HRegionServerHRegionServerHRegionServerHiveH...
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 3721
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
大数据-离线数仓-工作流调度-工具：Ozzie【CHD平台自带】【重量级，功能强大，使用复杂，不易安装】
u013250861的博客
04-11 166
大数据-数仓-工作流调度-工具：Ozzie【CHD平台自带】
CDH大数据平台搭建之HBASE集群搭建
qq_41924766的博客
06-16 962
CHD大数据平台搭建之HBASE集群搭建一、集群规划二、下载三、安装及配置四、启动五、jps验证 一、集群规划 参考CHD大数据平台搭建之集群规划 二、下载 1.官网下载 2.网盘下载 提取码：cdh5 网盘是chd配套版本，官网的事apache版本 三、安装及配置 1、解压 tar -zxvf hbase-1.2.0-cdh5.7.6.tar.gz -C /opt/modules/ 2、新建文件夹 mkdir -p /opt/modules/hbase-1.2.0-cdh5.7.6/datas 3
大数据开发-----hadoop 环境搭建
u012842247的专栏
11-19 195
一、准备工作： 需要三台服务器,系统CENTOS7 1、chd5_0 2、chd5_1 3、chd5_2 设置IP地址 修改 ifcfg-enp0s31f6 文件。 [root@hadoop01]# vi /etc/sysconfig/network-scripts/ifcfg-enp0s31f6 TYPE=Ethernet PROXY_...
CDH大数据平台搭建之SPARK集群搭建
qq_41924766的博客
06-16 1083
CHD大数据平台搭建之SPARK集群搭建一、安装规划二、下载1.引入库2.读入数据三、安装及配置总结 一、安装规划 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、下载 1.引入库 2.读入数据 三、安装及配置 总结 提示：这里对文章进行总结： 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
CDH5hadoop集群搭建手册，大数据平台搭建手册
08-22
(CDH5.13.1)hadoop集群搭建手册，搭建流程都有包括，强烈推荐
大数据cdh组件
02-05
hadoop运行cdh组件 Chd平台的本质，集成了多个大数据领域著名工具的一个平台
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
之前一直在网上找社区版hadoop的配置，发现CDH安装直接界面搞定，自动生成配置。供检查学习。
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
CentOS 6.7 安装及基本配置，分布式系统搭建
12-27
CentOS 6.7 安装及基本配置，分布式系统搭建。 CentOS 6.7 安装及基本配置，用于分布式系统搭建，实际测试截图。
Centos7 + Hadoop3 搭建伪分布式集群
01-07
关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、...
详解CentOS 6.5搭建Redis3.2.8单机分布式集群
09-09
主要介绍了详解CentOS 6.5搭建Redis3.2.8单机分布式集群，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Centos6.5 ambari 搭建配置大数据集群环境
09-05
Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop等。下面与大家分享在CentOS 6.5下安装Ambari...
CHD+CM-2 初始化集群和安装软件
oJueQiang123456的博客
05-26 394
1、选择免费版 2、选择agent，作为集群 3、选择cdh版本 4、集群安装 5、检查主机正确性 修改叹号处(所有节点)，点击重新运行 echo 0 > /proc/sys/vm/swappiness 6、集群设置(机器性能有限，暂选择自定义安装：HDFS) ...
centos大数据集群搭建sqoop
08-12
在CentOS大数据集群中搭建Sqoop的步骤如下： 1. 首先，在master节点上安装Sqoop。进入Sqoop安装包所在目录，执行以下命令解压安装包：<span class="em">1</span><span class="em">2</span><span class="em">3 #### ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值