CDH版本HADOOP的伪分布式环境搭建

本文档详细介绍了如何在CDH版本下搭建Hadoop的伪分布式环境,包括Zookeeper和Hadoop的环境配置,如删除旧版本、解压安装包、配置文件修改、目录创建以及服务的启动和状态检查。
摘要由CSDN通过智能技术生成

zk环境搭建

删除原来的hadoop和zookeep(三台机器):
在这里插入图片描述

将CDH版本的zookeeper放入software中,等待解压:
在这里插入图片描述

同样的将编译后的hadoop也放入:
在这里插入图片描述

解压zookeeper到servers中
在这里插入图片描述在这里插入图片描述

拷贝cfg文件:
在这里插入图片描述
在这里插入图片描述

创建zkdatas文件:
在这里插入图片描述

修改zoo.cfg配置文件:
在这里插入图片描述

创建myid并写入内容:
在这里插入图片描述

安装包分发到其他机器上:
在这里插入图片描述
在这里插入图片描述
Node2分发成功,node3同理

修改其他机器上的配置文件:
在这里插入图片描述
在这里插入图片描述

启动zk服务:
在这里插入图片描述

检查zk服务状态:
在这里插入图片描述

Hadoop环境搭建:

将hadoop解压到servers当中:
在这里插入图片描述
在这里插入图片描述

检查本地库:
(若snappy为false,则需要运行命令yum install snappy libsnappy*
若openssl为false,则需要运行命令yum -y install openssl-devel,需要所有机器安装)
在这里插入图片描述

修改配置文件:

在这里插入图片描述

创建目录:
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

在这里插入图片描述

分发安装包
cd /export/servers
scp -r hadoop-2.6.0-cdh5.14.0/ node02: P W D s c p − r h a d o o p − 2.6.0 − c d h 5.14.0 / n o d e 03 : PWD scp -r hadoop-2.6.0-cdh5.14.0/ node03: PWDscprhadoop2.6.0cdh5.14.0/node03:PWD

配置环境变量:

vim /etc/profile

export HADOOP_HOME=/export/servers/jdk1.8.0_141
export PATH=: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
在这里插入图片描述

Source命令刷新配置文件
在这里插入图片描述

首次启动:
bin/hdfs namenode -format 或者 bin/hadoop namenode -format
在这里插入图片描述

启动:
hadoop目录下:sbin/start-dfs.sh
在这里插入图片描述

jps命令查看当前进程:
在这里插入图片描述

启动yarn集群:
在这里插入图片描述

jps命令查看当前进程:
在这里插入图片描述

启动history服务:
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值