CDH版Hadoop云服务器的单节点和集群安装（附CDH自编译版本）

最新推荐文章于 2020-11-07 17:24:53 发布
最新推荐文章于 2020-11-07 17:24:53 发布
阅读量572 收藏 1
点赞数
分类专栏： 大数据 文章标签： CDH版Hadoop CDH版Hadoop安装 CDH版Hadoop集群 Hadoop安装 CDH版安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beishanyingluo/article/details/102595285
版权

上一篇写过 Apache版的Hadoop安装，
https://blog.csdn.net/beishanyingluo/article/details/101938568

这里写一下 CDH版重新编译后的Hadoop版本的安装：
编译后版本 hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz 连接：
链接：https://pan.baidu.com/s/1fyaL6XbveqGRrp_ZVBdKNw
提取码：yygz

1.下载文件上传到云服务器并解压：1.上传路径为：

/opt/hadoop/soft

解压：

tar -zxvf hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz -C /opt/hadoop/servers/

2.查看hadoop支持的压缩方式以及本地库

cd /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/
bin/hadoop checknative

在这里插入图片描述
出现openssl为false，那么机器在线安装openssl即可，执行以下命令，就可以在线进行安装了：

yum -y install openssl-devel

3.修改配置文件

不管是单节点还是集群，都在主服务器上进行以下文件的修改！！

进入下面的目录：

cd /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
3.1 core-site.xml
vim core-site.xml

编辑内容：

<configuration>
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>

</configuration>

如果为集群，将上面的loclhost换为第一个服务（主服务器）的ip或者hostname即可

3.2 hdfs-site.xml
vim hdfs-site.xml

编辑内容：

<configuration>
<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>localhost:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>localhost:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

如果为集群，将上面的loclhost换为第一个服务（主服务器）的ip或者hostname即可

3.3 hadoop-env.sh
vim hadoop-env.sh

编辑内容：jdk安装路径

export JAVA_HOME=/opt/hadoop/servers/jdk1.8.0_221/
3.4 mapred-site.xml
将服务器上的 mapred-site.xml.template 修改为 mapred-site.xml
vim mapred-site.xml

编辑内容：

<configuration>
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>localhost:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>localhost:19888</value>
	</property>
</configuration>

如果为集群，将上面的loclhost换为第一个服务（主服务器）的ip或者hostname即可

3.5 yarn-site.xml
vim yarn-site.xml

编辑内容：

<configuration>
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>

</configuration>

如果为集群，将上面的loclhost换为第一个服务（主服务器）的ip或者hostname即可

3.6 slaves
vim slaves

如果是单节点：

localhost

如果为集群：集群中的服务器ip或者hostname

node01
node02
node03

4.创建文件存放目录

mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

5.安装包的分发 （如果有多台服务，没有就忽略此步骤）

cd /opt/hadoop/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ 192.168.1.1:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ 192.168.1.2:$PWD

6.配置hadoop的环境变量

如果有多台机器，每台机器都要配置：

vim  /etc/profile

编辑：

export HADOOP_HOME=/opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$PATH
export PATH=:$HADOOP_HOME/sbin:$PATH

或者：

export HADOOP_HOME=/opt/hadoop/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

7.单节点启动或集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hdfs namenode  -format

或者：

bin/hadoop namenode –format
单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode：

hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

yarn-daemon.sh start nodemanager

历史

mr-jobhistory-daemon.sh start historyserver

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可

脚本一键启动

如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
node01节点上执行以下命令
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

启动完，执行jps命令查看一下：

[root@VM_0_8_centos hadoop-2.6.0-cdh5.14.0]# jps
9137 DataNode
8980 NameNode
9288 ResourceManager
9771 Jps
9579 NodeManager
9740 JobHistoryServer

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

8.浏览器查看启动页面

hdfs集群访问地址
http://19.16.5.1:50070/dfshealth.html#tab-overview
yarn集群访问地址
http://19.16.5.1.100:8088/cluster
jobhistory访问地址：
http://19.16.5.1:19888/jobhistory

在这里插入图片描述

在这里插入图片描述

完！！

北山璎珞
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hadoop cdh版本伪分布式集群搭建图文教程
08-18
hadoop cdh版本伪分布式集群搭建详细图文教程
CDH集群伪分布式搭建步骤
yoohhwz的博客
07-03 1027
1.安装虚拟机，配置ip（参考链接：点击这里） 2.更改主机名,关闭防火墙，设置ip映射 [root@hadoop001 ~]# vi /etc/sysconfig/network //更改主机名 [root@hadoop001 ~]# service iptables stop //关闭防火墙 [root@hadoop001 ~]# chkconfig iptables...
CDH 伪分布式环境搭建
weixin_44431083的博客
01-08 458
CDH 伪分布式环境搭建 第一步：上传压缩包并解压 将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz tar -zxvf hadoop-2.6.0-cdh...
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /export/servers/hadoop-2.6.0-cdh5.14.0 bin/hadoop checknative 在第一台机执行,如果出现openssl为false，执行 yum -y install openssl-devel 第三步：修改配置文件 修改core-site.xml
单节点安装CDH
sinat_38885949的博客
11-22 3069
CDH 简介（Cloudera Hadoop） -->仅供学习 1. Cloudera Manager 安装CDH 即安装 Cloudera Manager，以下简称CM。 Cloudera Manager 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）。可以实现对集群的可视化监控和管理。 2. CM 的架构 Server：负责软件安装、配置，启动和停止...
CDH搭建hadoop流程.doc
06-29
在搭建Hadoop集群的过程中，使用CDH（Cloudera Distribution Including Apache Hadoop）是一个常见的选择，因为CDH提供了预编译的开源大数据组件，包括Hadoop、YARN等，简化了集群部署和管理。以下是对CDH搭建Hadoop...
适用CDH6.3.1的Phoenix parcle编译包
09-18
Parcel是CDH的一种分发机制，用于在集群中安装和管理软件组件，如Hadoop、Spark和Phoenix等。Phoenix是一个基于HBase的SQL查询接口，它允许用户通过SQL语句与NoSQL数据库进行交互，简化了对大数据存储的访问。 描述...
基于hadoop-2.6.0-cdh5.4.3版本的源码阅读，以注释及博客的形式记录阅读笔记.zip
最新发布
03-13
Hadoop 2.6.0-cdh5.4.3 版本是 Cloudera Distribution 包含 Hadoop（CDH）的一个发行版，CDH 提供了对 Hadoop 生态系统的预编译、测试和优化，使得企业能够更方便地部署和管理 Hadoop 集群。此版本包含了多项改进和...
atlas2.1+CDH6.3.2.rar
01-25
这通常涉及将编译好的Atlas服务部署到Hadoop集群中的NameNode或ResourceManager节点，配置相应的配置文件，如atlas-application.properties，以指定HBase、Kafka和Zookeeper的连接信息。同时，确保Atlas服务的用户和...
cdh6.3.2集成flink1.12.0所需要的编译好的包
08-12
这一版本的 CDH 提供了对 Hadoop 的更新，包括 HDFS、YARN、MapReduce 等组件的优化，以及对 Spark 和 Impala 的改进，增强了整个集群的性能和稳定性。同时，它还支持跨集群的数据迁移和管理，使得大数据处理更为...
单机搭建hadoop伪集群
02-14
详细介绍了单机搭建hadoop伪集群的全部步骤，希望对大家有帮助
cdh-Hadoop伪分布式安装教程
qq_29979341的博客
09-22 4484
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apach
hadoop 1.2.1 安装步骤 伪分布式
大齐的学习笔记
07-28 2130
最近在系统的学习hadoop 课程第一步是安装hadoop1.x，具体安装步骤如下： 一、系统安装 本文使用centos6.5安装，具体安装步骤省略 二、jdk安装 下载jdk1.7.0_51解压，在环境中 设置环境变量： vi /etc/profile,添加如下行： export JAVA_HOME=/usr/local/jdk1.7.0_51export CLASSPATH=.
使用CDH5.3.0中Hadoop安装包进行伪分布模式安装
winfield821的博客
01-13 1963
这样做的目的是笔者要开发一个spark程序，将来移植到用CDH5.3.0部署的集群上，但是笔者的开发环境并没有这样的集群。由于网上搜索的结果很不准确（不同版本的Hadoop安装方式不一），所以作者经过一番尝试成功安装后，将安装步骤总结如下。 操作系统：Red Hat Enterprise Linux Server release 6.2 (Santiago) 一、安装Java 由于Had
hadoop-2.6.0-cdh5.7.0伪分布式搭建
总分全班第一
09-29 2687
1，这个我们是直接在linux中下载hadoop-2.6.0-cdh5.7.0，（当然你也可以在本地下载后再上传，这步就可以忽略）首先确保你的虚拟机有网络，可以先ping百度测试有网没，如下代码就是有网络的情况。 [root@master ~]# ping www.baidu.com PING www.a.shifen.com (180.97.33.108) 56(84) bytes of dat...
hadoop2.6.0-cdh5.7.1伪分布式编译安装
VincentQB的博客
12-30 891
环境相关： OS：CentOS release 6.9 IP：192.168.1.10 MEM：10G（推荐4G以上） DISK：50G 1. 主机克隆，基础环境部署 参照《CentOS6实验机模板搭建部署》 克隆一台实验机，调整内存为10G，并进一步配置主机名和hosts文件： hostname hadoop001 echo "$(grep -E '127|::1' /etc
cdh版本的zookeeper安装以及配置（伪分布式模式）
weixin_30654419的博客
02-08 466
需要的软件包：zookeeper-3.4.5-cdh5.3.6.tar.gz 1、将软件包上传到Linux系统指定目录下：/opt/softwares/cdh 2、解压到指定的目录：/opt/modules/cdh/ 　　$tar -zxvf /opt/softwares/zookeeper-3.4.5-cdh5.3.6.tar.gz -C/opt/modules/cdh/ ...
hadoop离线阶段（第五节）hadoop伪分布式环境、分布式环境安装和CDH版本安装
hwq317622817的博客
11-07 249
伪分布式环境搭建 伪分布式环境原理 由于伪分布式与standAlone差别不大，NameNode和ResourceManager都部署在同一台机器上，区别仅仅在于伪分布式环境需要加入一些机器来分配DataNode和NodeManager。所以只要把其他机器加入集群，其余配置和standAlone环境搭建一样就可以搭建伪分布式环境了。 伪分布式环境搭建步骤 1、停止当前的hadoop服务 cd /export/servers/hadoop-2.7.5 sbin/stop-dfs.sh sbin/stop-ya
linux安装hadoop及集群单节点
06-28
安装Hadoop和集群单节点，请参考以下步骤： 1. 下载Hadoop安装包并解压缩。 2. 设置Java环境变量。 3. 配置Hadoop的环境变量，并设置Hadoop的工作目录。 4. 修改Hadoop的配置文件，主要是core-site.xml、hdfs-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值