Hadoop离线_CDH版zookeeper环境搭建&CDH版hadoop伪分布式环境搭建

最新推荐文章于 2020-10-18 16:37:58 发布
最新推荐文章于 2020-10-18 16:37:58 发布
阅读量280 收藏
点赞数
分类专栏： Hadoop生态 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44449054/article/details/108868224
版权

文章目录

1 CDH版zookeeper环境搭建

软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/

1.1 文件上传

创建两个目录分别用于存放软件安装包与解压包

mkdir -r /export/softwares
mkdir -r /export/servers

上传文件到/export/softwares
版本:zookeeper-3.4.5-cdh5.14.0.tar.gz

1.2 解压压缩包

解压到/export/servers 目录

tar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C ../servers/

1.3 创建目录修改配置文件

创建目录：

mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas

修改配置文件

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

# 修改四处
dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas
# 打开
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
# 添加
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

在这里插入图片描述
在zkdatas文件夹中，创建文件myid，内容为1

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas/
echo 1 > myid

1.4 安装包分发

分别复制安装包到机器2和3

scp -r zookeeper-3.4.5-cdh5.14.0/ node02:$PWD
scp -r zookeeper-3.4.5-cdh5.14.0/ node03:$PWD

分别在2和3机器上修改myid的值为2和3

cd zookeeper-3.4.5-cdh5.14.0/zkdatas/
echo 2 > myid 

cd zookeeper-3.4.5-cdh5.14.0/zkdatas/
echo 3 > myid

1.5 三台机器启动服务

三台机器分别执行：

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/bin
zkServer.sh start

三台机器都启动服务后，可执行以下命令查看各机器状态

zkServer.sh status

2 CDH版hadoop伪分布式环境搭建

CDH版的hadoop需要重新编译，编译方式省略，此处使用编译后的软件包

2.1 文件上传

创建两个目录分别用于存放软件安装包与解压包

mkdir -r /export/softwares
mkdir -r /export/servers

将安装包上传到softwares文件夹上，版本：hadoop-2.6.0-cdh5.14.0.tar.gz

2.2 解压

将文件解压到servers文件夹上

tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C /export/servers/

2.3 查看Hadoop支持的压缩方式以及本地库

cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative

在这里插入图片描述

如果openssl为false，执行

yum -y install openssl-devel

2.4 修改配置文件

在此目录下：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
2.3.1 修改core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
2.3.2 修改hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

JAVA_HOME为jdk的安装目录

2.3.1 修改hdfs-site.xml
<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
2.3.1 修改mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
2.3.1 修改slaves
node01
node02
node03
2.3.1 修改yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

2.5 创建文件存放目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

2.6 安装包分发

cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

2.7 配置Hadoop的全局环境变量

三台机器都执行

vim /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

2.8 启动集群

启动前先格式化NameNode
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs namenode -format	或	bin/hadoop namenode -format

2.9 登陆

node01:50070
node01:8088
node01:19888

_WeiA
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cdh升级zookeeper3.6.3集成parcels包cloudera Manager
这个人很懒。
02-16 1008
cdh升级zookeeper3.6.3以及集成parcels包
【Hadoop离线基础总结】CDH版本的zookeeper环境搭建
01-07
CDH版本的zookeeper环境搭建 下载 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 修改配置文件 创建ZooKeeper数据存放目录 mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas 修改ZooKeeper配置文件 cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf cp zoo_sample.cfg zoo.cfg ->备份一个zoo_sample.cfg vim zoo.cfg 修改 dataDir=/expor
CDH6.x企业级大数据平台搭建
01-30
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
zookeeper-cdh5.3.6
02-22
zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用
cdh版本的zookeeper安装以及配置（伪分布式模式）
weixin_30654419的博客
02-08 467
需要的软件包：zookeeper-3.4.5-cdh5.3.6.tar.gz 1、将软件包上传到Linux系统指定目录下：/opt/softwares/cdh 2、解压到指定的目录：/opt/modules/cdh/ 　　$tar -zxvf /opt/softwares/zookeeper-3.4.5-cdh5.3.6.tar.gz -C/opt/modules/cdh/ ...
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191...
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
最新发布
05-31
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
11-10
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6 搭建分布式集群环境详解
11-10
本教程将深入探讨如何利用Hadoop2.7.3、HBase1.2.5和ZooKeeper3.4.6搭建一个完整的分布式集群环境，以支持大规模数据存储和处理。 首先，我们来了解下这三个组件的基本概念： 1. **Hadoop**：Apache Hadoop是一个...
CDH更改Zookeeper日志路径报错
fz1989的专栏
10-23 1766
CDH挂载在/上，硬盘容量过小，把日志目录换到/home，更改日志路径为/home/var/log/xxx，结果出现如下错误：  log4j:ERROR setFile(null,true) call failed. java.io .FileNotFoundException: /home/var/log/zookeeper/zookeeper-cmf-zookeeper-SERVE
CDH版本的zookeeper环境搭建
kingloneye的博客
10-18 273
1、下载zookeeper安装包 wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 2、解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 3、配置环境变量： vim /etc/profile # set zk env export ZK_HOME=/opt/zookeeper-3.4.5-cdh5.7.0 export PATH=${ZK_HOME}/bin:$
2，zookeeper 版本选择
热门推荐
孙砚秋的博客
05-22 1万+
1 ，zookeeper 的发行版本 ：        常见的有apache 版，cdh 版，Hortonworks版本，我们常用 cdh 版。 2 ，apache 版本：         最原始的版本，所有发行版均基于这个版本进行改进。        Apache-zookee...
(三) zookeeper环境搭建(CDH版本)
WGS.
09-24 608
上一篇：大数据集群准备工作环境搭建 (centos7) https://blog.csdn.net/qq_42363032/article/details/108760033 文章目录下载，解压修改配置文件启动zk服务 下载，解压 下载地址为： http://archive.cloudera.com/cdh5/cdh/5/ 我们这里下载CDH5.14.0这个版本的zookeeper的压缩包 在3台虚拟机上分别拖进去，然后分别解压，配置环境变量 这里使用这一种：先在一台解压、配置，然后在远程拷贝到其他
CentOS7.0安装配置Storm集群
david's Blog
06-21 4365
1.环境准备 操作系统: CentOS7.0 Zookeeper版本：zookeeper-3.4.10 Storm版本：apache-storm-1.1.0 JDK版本：jdk1.8.0_77 Python版本： 集群配置如下： # os hostname ip software notes 1 CentOS7 apollo.dt.com 192.168.56.1
centos7：storm集群搭建
learn_tech的博客
06-12 2201
转载地址：https://www.w3cschool.cn/zookeeper/zookeeper_installation.html一、安装环境安装包：zookeeper-3.4.12.tar.gz 、apache-storm-1.2.2.tar.gz集群主机IP：192.168.17.133 ，192.168.17.134 ，192.168.17.135下载地址：zookeeper-3.4.1...
CentOS 7 安装 Storm 0.9.3
xuezhanyuan的专栏
03-12 619
1. 安装 jdk ，maven 如果有openjdk 先卸载，然后安装oracle jdk 6+ java ，maven环境变量配置 export JAVA_HOME=/usr/local/java/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_
centos7环境下搭建storm集群
逍遥子曰：
04-18 3007
前提：使用的zookeeper集群为：11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181并且zookeeper集群已经启动成功；下面将以11.12.112.210服务器上为例，说明storm的部署过程：1、解压storm到目录/home/jason/bigdata/下：[root@clsserv210 bigdata]# pwd/hom
CDH配置（Zookeeper，HADOOP，Hive）
haoyuexihuai的专栏
11-30 4919
第一步：ZOOKEEPER（多台机器，时间同步）在/opt下创建chd目录：sudo mkdir cdh-5.3.6 更改所属用户与用户组：sudo chown beifeng:beifeng /opt/* 上传文件到/opt/software目录下：zookeeper-3.4.5-cdh5.3.6.tar，hadoop-2.5.0-cdh5.3.6.tar，hive-0.13.1-cdh5.3.6
伪分布式安装(VMware_Hadoop - HBase - Zookeeper).docx
08-21
根据老师讲的所记录的环境搭建笔记，供以后使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值