CDH 分布式环境搭建

最新推荐文章于 2024-11-03 00:00:00 发布
最新推荐文章于 2024-11-03 00:00:00 发布
阅读量129 收藏
点赞数 2
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45746679/article/details/102877875
版权

1.准备环境Linux环境

  • 准备三台linux环境，内存4G或以上，硬盘40G或以上，我们这里使用的是 Centos6.9 64位的操作系统，三台虚拟机一个作为主节点，其他两台作为副节点
  • 虚拟机联网，关闭防火墙，关闭selinux
    关闭防火墙命令：
service  iptables  stop
chkconfig  iptables  off

关闭selinux

vim  /etc/selinux/config

在这里插入图片描述

2.上传hadoop压缩包并解压

1.第一步：将重新编译之后，支持snappy压缩的Hadoop包上传到第一台服务器并解压

2.第二步：查看Hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd  /export/install/hadoop-2.6.0-cdh5.14.0     (进入解压后的hadoop目录下)

sh  /hadoop  checknative

在这里插入图片描述
如果出现openssl 为 false，那么所有机器在线安装 openssl 即可，虚拟机联网之后，执行以下命令就可以在线进行安装了

yum  -y  install  openssl-devel

在这里插入图片描述

3.第三步：修改配置文件

  • 修改 core-site.xml
    第一台机器执行以下命令
cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim  core-sits.xml       (在<configuration>下添加如下代码)

<configuration>

       <property>

              <name>fs.defaultFS</name>

              <value>hdfs://node01:8020</value>

       </property>

       <property>

              <name>hadoop.tmp.dir</name>

        <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>

       </property>

       <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

       <property>

              <name>io.file.buffer.size</name>

              <value>4096</value>

       </property>

 

       <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->

       <property>

              <name>fs.trash.interval</name>

              <value>10080</value>

       </property>

</configuration>

  • 修改 hdfs-site.xml

    第一台机器执行以下命令

cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim  hdfs-site.xml      (在<configuration>下添加如下代码)

<configuration>

       <!--
NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 

       <!--   集群动态上下线 

       <property>

              <name>dfs.hosts</name>

        <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>

       </property>

       

       <property>

              <name>dfs.hosts.exclude</name>

        <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>

       </property>

        -->

        

        <property>

                     <name>dfs.namenode.secondary.http-address</name>

                     <value>node01:50090</value>

       </property>

 

       <property>

              <name>dfs.namenode.http-address</name>

              <value>node01:50070</value>

       </property>

       <property>

              <name>dfs.namenode.name.dir</name>

        <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>

       </property>

       <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->

       <property>

              <name>dfs.datanode.data.dir</name>

        <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>

       </property>

       

       <property>

              <name>dfs.namenode.edits.dir</name>

        <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>

       </property>

       <property>

              <name>dfs.namenode.checkpoint.dir</name>

        <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>

       </property>

       <property>

              <name>dfs.namenode.checkpoint.edits.dir</name>

        <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>

       </property>

       <property>

              <name>dfs.replication</name>

              <value>2</value>

       </property>

       <property>

              <name>dfs.permissions</name>

              <value>false</value>

       </property>

<property>

              <name>dfs.blocksize</name>

              <value>134217728</value>

       </property>

</configuration>
  • 修改 Hadoop-env.sh

第一台机器执行以下命令

cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim  hadoop-env.sh

在这里插入图片描述

  • 修改 mapred-site.xml
    第一台机器执行以下命令
cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

cp mapred-site.xml.template  mapred-site.xml

vim mapred-site.xml     (在<configuration>下添加如下代码)

<configuration>

       <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

       </property>

 

       <property>

              <name>mapreduce.job.ubertask.enable</name>

              <value>true</value>

       </property>

       

       <property>

              <name>mapreduce.jobhistory.address</name>

              <value>node01:10020</value>

       </property>

 

       <property>

              <name>mapreduce.jobhistory.webapp.address</name>

              <value>node01:19888</value>

       </property>

</configuration>
  • 修改 yarn-site.xml
    第一台机器执行以下命令
cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim  yarn-site.xml    (在<configuration>下添加如下代码)

<configuration>

       <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>node01</value>

       </property>

       <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

       </property>

</configuration>
  • 修改 salves 文件
    第一台机器执行以下命令
cd  /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim  slaves    (添加三台机器的主机名)

在这里插入图片描述

第四步：创建文件存放目录

第一台机器执行以下命令
node01 机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发

第一台机器执行以下命令

cd  /export/install

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD

scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD
(将配置好的 hadoop 远程拷贝到另外两台机器上)

第六步：配置Hadoop的环境变量

三台机器都要进行配置Hadoop的环境变量
三台机器执行以下命令

vim  /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/install/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin

在这里插入图片描述

配置完成后执行以下命令生效

source  /etc/profile

第七步：集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群
注意：首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的

  • 执行以下命令进行格式化
 bin/hdfs namenode  -format  或者 bin/Hadoop namenode  -format

在这里插入图片描述

  • 1 单个节点逐一启动

在主节点上使用以下命令启动 HDFS
NameNode： Hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS
DataNode： Hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN
ResourceManager： yarn-daemon.sh start resourcemanager

在每个从节点上使用以下命令启动 YARN
nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

  • 1.2脚本一键启动 HDFS ，YARN

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

启动集群

node01节点上执行以下命令

第一台机器执行以下命令

cd /export/install/hadoop-2.6.0-cdh5.14.0/

sbin/start-dfs.sh

sbin/start-yarn.sh

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh

sbin/stop-yarn.sh
  • 1.3脚本一键启动所有

一键启动集群

sbin/start-all.sh

一键关闭集群

sbin/stop-all.sh

第八步：浏览器查看启动页面

hdfs集群访问地址： http://192.168.52.100:50070

在这里插入图片描述

yarn集群访问地址： http://192.168.52.100:8088
在这里插入图片描述

整理不易，对您有帮助的话记得点赞哦，

Tian哈哈
关注
CDH分布式环境搭建
ashencode的博客
08-25 196
环境：hadoop-2.6.0-cdh5.14.0 cdh所有软件下载地址： http://archive.cloudera.com/cdh5/cdh/5/ 文章目录一、CDH版本hadoop重新编译二、CDH版本的zookeeper环境搭建2.1 修改配置文件node01修改配置文件node02修改配置文件node03修改配置文件2.2 启动zk服务三、CDH 伪分布式环境搭建第一步：上传压...
大数据入门--CDH 分布式环境搭建（集群的搭建）
Mr_Yang888的博客
11-04 1万+
集群的搭建 第一步：配置jdk(三台）
CDH分布式环境的搭建
L15593445790的博客
11-19 430
目标：搭建基于CDH的分布式集群 安装环境服务部署规划 服务器IP 192.168.52.100 192.168.52.110 192.168.52.120 HDFS NameNode SecondaryNa...
Hadoop（CDH）分布式集群安装笔记（亲测）
大数据研习社
03-02 792
在搭建Hadoop集群之前需要准备已经安装好的3台节点分别为：master、slave1和slave2，Linux节点安装过程这里不在赘述。1.        集群规划1.1         主机规划  Master Slave1 Slave2 Namenode 是 是   Datanode 是 是 是 ResourceManager 是 是   NodeManager ...
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)
xiaoyuya1998的博客
11-27 1353
准备: 1.配置好java环境变量 2.配置好主机名/etc/sysconfig/network 3.配置好hosts /etc/hosts 4.配置好免密登录ssh 5.关闭selinux以及防火墙 第一步：上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载) 第一台机器执行以下命令 cd /export/soft...
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)1
08-03
在开始搭建CDH分布式环境之前，有几项关键的准备工作需要完成： 1. **关闭防火墙**：`service iptables stop` 和 `chkconfig iptables stop` 命令用于暂时和永久关闭Linux系统的防火墙，以便各节点之间的通信不受...
三步搭建CDH分布式环境：简单高效部署指南
这些步骤确保了基础环境的配置和优化，是搭建CDH分布式环境的基础步骤。通过按照文章中的步骤操作，读者能够建立起一个功能完整的Hadoop集群，为后续的大数据分析和处理奠定坚实基础。整个过程注重实践操作和细节，...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
Hadoop cdh版本分布式集群搭建图文教程
wolf1132的博客
03-23 2113
有很多想学习大数据的朋友，但苦于找不到系统的学习资料，搭建一个hadoop集群都要耽搁很多时间。下面我给大家一个搭建大数据的图文教程。教程中需要用到的软件和资料我已经准备好了，下面是分享链接，直接下载即可。     链接：http://pan.baidu.com/s/1c1PWFc8 密码：hytk   注意：下面的配置文件中出现的“qinke”是我的虚拟机主机名，必须改成你自己虚拟机的
CDH5.8.2分布式集群环境安装图文教程
埋雷兽的博客
02-28 3097
    本案例基于centos6.5安装CDH5.8.2分布式集群环境，都是在root用户下进行操作。到官网下载相应的安装包与校验文件集群环境：192.168.168.124 master；192.168.168.125 slaver1；192.168.168.126 slaver2一、准备工作1、卸载原jdk并安装jdk1.7.0_45，然后配置环境变量2、关闭防火墙和关闭selinux3、修改...
cdh5.3.* 报错 无法格式化namenode
yy的博客
07-28 1473
报错文本 formatting the name directories of the current namenode . if the name directories are not empty,this is expected to fail. faild to format namenode. 报错截图 解决方法 namenode 格式化失败解决: 清空namenode datanode目录. 一般是所有节点的 /dfs/nn /dfs/dn 或者 /dfs/df.
cdh-Hadoop伪分布式安装教程
qq_29979341的博客
09-22 4532
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apach
CDH添加datanode节点与重新平衡
zorsea的博客
11-27 5956
1、配置cloudera-scm-agent 连接的server节点 2、登录CDH web管理界面添加集群节点 3、添加角色实例 4、重启节点 5、更新过期配置信息 6、重新平衡数据存储      ...
大数据CDH问题解决总结
大宇进阶之路的博客
05-15 1568
​​​​​​1.impala-shell连接显示Not connected的问题 解决方案： 查看Cm界面中，kerbros是默认开启，禁用掉就OK了。 同时在impala的配置中关闭LDAP服务即可。 或者通过LDAP认证的用户和密码登陆。 2.Yarn 中显示datanode节点目录空间不足的问题 解决方法：调整Yarn的容器内存和上限。 在集群中针对某问题，将资源内存调整为150G和上限300G。 ​​​​​​​3.CM中没有置yarn.nodemanager...
cdh安装及错误修正
dhc566的专栏
11-21 1192
我起初看的是cdh官方文档，经过摸索path-C所给的安装方法比较靠谱，不依赖网络，如果实在看不懂官方文档的可以参考下面这个视频连接。 http://www.56.com/w32/play_album-aid-14422115_vid-MTQxOTEyMDQ0.html path-C的安装文档 http://www.cloudera.com/documentation/enterpris
CDH-5.10.2集群的搭建【史上最全，不全不要钱】（已经实现，但是非预期效果，可能是由于内存不足）
热门推荐
Null的博客
06-28 2万+
说在前面的话：本文适合电脑内存16G以上的，安装的是纯正的CDH，不是三个节点的，纯正四节点。建议配置主节点3G内存，从节点1.5G内存，硬盘大小建议单节点配置20G以上，CDH版本比apache吃内存和硬盘，请准备好再安装 如果你是新手学习，强烈！建议不要瞎改瞎命名，因为后面都是有关联的。如果跟我的一模一样，完全无脑CV保证安装成功，安装过程中遇到的报错各种问题都在相应的环节有说明，不要慌...
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
最新发布
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-03 952
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值