Hadoop CDH 分布式环境搭建

最新推荐文章于 2020-12-09 22:24:49 发布
最新推荐文章于 2020-12-09 22:24:49 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 笔记 文章标签： 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LeeBoolean/article/details/108943428
版权

Hadoop CDH 分布式环境搭建


在这里插入图片描述

Hadoop集群安装部署

⦁	服务器主机名和IP配置（三台）
⦁	修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
⦁	管理节点到从节点配置无密码登录
⦁	配置jdk  1.8（三台）
⦁	关闭防火墙（三台）
⦁	关闭selinux（三台）
vi   /etc/selinux/config
SELINUX=enforcing        SELINUX=disabled
		重启系统

1.上传压缩包并解压

将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压
第一台机器执行以下命令
cd /export/softwares/

mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/

2.查看Hadoop支持的压缩方式以及本地库

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative

 
如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
yum -y install openssl-devel

3.修改配置文件

注意:需要将下方所有文件中的node01改成自己的主机名

修改core-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml
		
在<configuration>标签中写入以下代码:

	<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
			
在<configuration>标签中写入以下代码:

	<configuration>
		<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
		<!--   集群动态上下线 
		<property>
			<name>dfs.hosts</name>
			<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
		</property>
		
		<property>
			<name>dfs.hosts.exclude</name>
			<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
		</property>
		 -->
		 
		 <property>
				<name>dfs.namenode.secondary.http-address</name>
				<value>node01:50090</value>
		</property>
	
		<property>
			<name>dfs.namenode.http-address</name>
			<value>node01:50070</value>
		</property>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
		</property>
		<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
		</property>
		
		<property>
			<name>dfs.namenode.edits.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.edits.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
		</property>
		<property>
			<name>dfs.replication</name>
			<value>2</value>
		</property>
		<property>
			<name>dfs.permissions</name>
			<value>false</value>
		</property>
	<property>
			<name>dfs.blocksize</name>
			<value>134217728</value>
		</property>
	</configuration>

修改Hadoop-env.sh(如果配置了JDK1.8就不用修改)

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh
	
写入以下代码

export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml
		
在<configuration>标签中写入以下代码:

<configuration>
	<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改yarn-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml
			
在<configuration>标签中写入以下代码:

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

修改slaves文件

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

	在<configuration>标签中写入以下代码:

节点主机名
节点主机名
节点主机名

4.创建文件存放目录

第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

5.安装包的分发

第一台机器执行以下命令
cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

6.配置Hadoop的环境变量

三台机器都要进行配置Hadoop的环境变量
三台机器执行以下命令
vim  /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile

7.集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
bin/hdfs namenode  -format或者bin/Hadoop namenode –format

单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode 
在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode 
在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh  start resourcemanager 
在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager 

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
node01节点上执行以下命令
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh

停止集群：没事儿不要去停止集群
sbin/stop-dfs.sh
sbin/stop-yarn.sh

脚本一键启动所有

一键启动集群
sbin/start-all.sh

一键关闭集群
sbin/stop-all.sh

8.浏览器查看启动页面

hdfs集群访问地址：  http://主机IP地址:50070/dfshealth.html#tab-overview  

yarn集群访问地址：  http://主机IP地址:8088/cluster
LeeBoolean
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建5个节点的hadoop集群环境（CDH5）
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
hadoop CDH
热门推荐
小海的专栏
02-07 3万+
CDH 1、CDH简介 CDH：全称Cloudera’s Distribution Including Apache Hadoop　　CDH版本衍化　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution Hadoop)。
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
微信搜：import_bigdata，大数据领域硬核原创作者
05-06 658
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文是由alice菌发表在：https://blog.csdn.net/weixin_4431...
hadoop-cdh搭建
shursulei的博客
05-06 853
一、前期的环境准备参考地址 1、同步时间[root@CDHnode1 opt]# date Sat May 6 09:42:03 EDT 2017 （1）、本地联机进入/usr/share/zoneinfo/Asia [root@CDHnode2 Asia]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp: overwrite
Hadoop之CDH安装
dongyunlon的专栏
03-30 2万+
1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)1
08-03
在开始搭建CDH分布式环境之前，有几项关键的准备工作需要完成： 1. **关闭防火墙**：`service iptables stop` 和 `chkconfig iptables stop` 命令用于暂时和永久关闭Linux系统的防火墙，以便各节点之间的通信不受...
hadoop伪分布式搭建.doc
10-07
《Hadoop伪分布式环境搭建详解》 Hadoop作为大数据处理的核心框架，其分布式环境的搭建是初学者必须掌握的关键技能之一。本篇文章将详细解析Hadoop伪分布式集群环境的搭建步骤，以及在搭建过程中可能遇到的问题及其...
大数据 Hadoop 伪分布式搭建
最新发布
02-23
本教程将指导你如何在Ubuntu 16.04系统上搭建Hadoop 2.6.0的伪分布式环境，这个环境模拟了一个完整的Hadoop集群，但所有服务都在同一台机器上运行。 首先，我们需要创建一个新的用户和用户组，这有助于管理和隔离...
HADOOP集成组件CDH安装部署详细教程
01-04
linux系统cdh集成组件部署安装，包括分部式系统环境的基础配置shell脚本
CDH搭建hadoop环境文档指南
10-24
CDH搭建hadoop环境文档指南，本文档是搭建基于CDH的 hadoop开发环境的文档，详细描述了如何搭建CDH的环境，同时还有其他环境的搭建，如jstorm，ElasticSearch等
CDH搭建Hadoop集群
09-08
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例，介绍如何使用Cloudera Manager自动搭建Hadoop相关集群，简化为多台服务器搭建Hadoop集群工作，提高工作效率。至于如何使用Cloudera Manager来管理集群以及进行数据分析之类的工作，请参考官方文档说明。Cloudera Manager官网https://www.cloudera.com/
CDH 5.5.0 - 安装文档(Hadoop详细版)
07-26
本文介绍 CDH 安装，安装版本以当前最新版 CDH 5.5.0 为例。 CDH 提供了自动在线安装，手动离线安装的方式，本文介绍的安装方式为完全离线 安装。是同时适用于测试环境、生产环境的安装方式，对应官方安装文档章节为: Installation Path C - Manual Installation Using Cloudera Manager Tarballs
hadoop cdh5安装
01-06
hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装
Hadoop安装 -- CDH分布式环境搭建
weixin_45749011的博客
10-31 2万+
目标: 搭建基于CDH的分布式集群 安装环境服务部署计划 准备工作 1.关闭防火墙/etc/init.d/iptables stop chkconfig iptables off 2.关闭selinux 3.修改主机名 4.ssh无密码拷贝数据 特别说明（在主节点无密码访问到从节点） ssh-keygen ssh-copy-id 192.168.100.201 ssh...
CDH的Hadoop集群搭建
weixin_46011754的博客
12-09 644
创建一个新的虚拟机分配8G+内存，100G+硬盘，4核+处理器，配域名映射，免密，ip地址，主机域名映射 一：Linux中安装CDH linux中域名映射 vi /etc/hosts 修改固定ip地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置免密 ssh-keygen --一路回车 ssh-copy-id doitcdh --分发免密给自己 在/opt目录下创建一个apps文件夹上传文件夹到此目录下 详细步骤： ①： vi.
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)
大数据梦想家
11-01 8106
        这篇博客,小菌分享的是大数据集群的安装部署,超级有效,希望能够帮助到大家!         在部署之前,我们需要做一些准备工作。 准备好三台虚拟机,ip分别为192.168.100.100,192.168.100.110,1...
Hadoop CDH伪分布集群搭建实战教程
本文档是一份详尽的Hadoop CDH版本伪分布式集群搭建教程，针对初学者设计，旨在帮助读者快速掌握大数据技术的基础环境构建。以下是主要知识点的详细说明： 1. **所需软件和资源**：教程开始首先提到，参与者需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值