CDH分布式环境的搭建

最新推荐文章于 2021-03-02 17:03:06 发布
最新推荐文章于 2021-03-02 17:03:06 发布
阅读量410 收藏
点赞数
文章标签： HDFS集群搭建 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L15593445790/article/details/103136241
版权

目标：搭建基于CDH的分布式集群

安装环境服务部署规划

服务器IP

192.168.52.100

192.168.52.110

192.168.52.120

HDFS

NameNode

SecondaryNameNode

DataNode

DataNode

DataNode

YARN

ResourceManager

NodeManager

NodeManager

NodeManager

MapReduce

JobHistoryServer

第一步：上传压缩包并解压

将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压

第一台机器执行以下命令

cd /export/softwares/

mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/

第二步：查看Hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0

bin/hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

yum -y install openssl-devel

第三步：修改配置文件

修改core-site.xml

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim core-site.xml

<configuration>
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://node01:8020</value>
      </property>
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
      </property>
      <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
      <property>
           <name>io.file.buffer.size</name>
           <value>4096</value>
      </property>

      <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
      <property>
           <name>fs.trash.interval</name>
           <value>10080</value>
      </property>
</configuration>

修改hdfs-site.xml

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim hdfs-site.xml

<configuration>
      <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用,进行分割   -->

    <!--   集群动态上下线
      <property>
           <name>dfs.hosts</name>
           <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
      </property>
      <property>
           <name>dfs.hosts.exclude</name>
           <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
      </property>
       -->
       <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>node01:50090</value>
      </property>
      <property>
            <name>dfs.namenode.http-address</name>
            <value>node01:50070</value>
      </property>
      <property>
           <name>dfs.namenode.name.dir</name>
           <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
      </property>

      <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->

      <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
      </property>
     
      <property>
           <name>dfs.namenode.edits.dir</name>
           <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>

      </property>

      <property>
           <name>dfs.namenode.checkpoint.dir</name>
           <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
      </property>

      <property>
           <name>dfs.namenode.checkpoint.edits.dir</name>
           <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
      </property>

      <property>
           <name>dfs.replication</name>
           <value>2</value>
      </property>

      <property>
           <name>dfs.permissions</name>
           <value>false</value>
      </property>

    <property>
           <name>dfs.blocksize</name>
           <value>134217728</value>
      </property>

    <property>           
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>

修改Hadoop-env.sh

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim mapred-site.xml

<configuration>
      <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
      </property>
      <property>
           <name>mapreduce.job.ubertask.enable</name>
           <value>true</value>
      </property>
      <property>
           <name>mapreduce.jobhistory.address</name>
           <value>node01:10020</value>
      </property>
      <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>node01:19888</value>
      </property>

</configuration>

修改yarn-site.xml

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim yarn-site.xml

<configuration>
      <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>node01</value>
      </property>
      <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
      </property>
</configuration>

修改slaves文件

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim slaves

node01

node02

node03

第四步：创建文件存放目录

第一台机器执行以下命令

node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发

第一台机器执行以下命令

cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD

scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

第六步：配置Hadoop的环境变量

三台机器都要进行配置Hadoop的环境变量

三台机器执行以下命令

vim  /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0

export PATH=$PATH:$HADOOP_HOME/bin

配置完成之后生效

source /etc/profile

第七步：集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hdfs namenode  -format或者bin/Hadoop namenode –format

脚本一键启动所有

一键启动集群

sbin/start-all.sh

一键关闭集群

没事儿不要去停止集群

sbin/stop-all.sh

单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

第八步：浏览器查看启动页面

hdfs集群访问地址：  http://192.168.52.100:50070/dfshealth.html#tab-overview 

yarn集群访问地址：  http://192.168.52.100:8088/cluster

下篇讲如何验证集群是否成功搭建

唔_Yxy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH 分布式环境搭建
Malu_的博客
11-04 272
CDH 分布式环境搭建 目标：搭建基于CDH的分布式集群 安装环境服务部署规划 第一步：上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz ...
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)
大数据梦想家
11-01 8069
        这篇博客,小菌分享的是大数据集群的安装部署,超级有效,希望能够帮助到大家!         在部署之前,我们需要做一些准备工作。 准备好三台虚拟机,ip分别为192.168.100.100,192.168.100.110,1...
CDH分布式环境搭建
ashencode的博客
08-25 175
环境：hadoop-2.6.0-cdh5.14.0 cdh所有软件下载地址： http://archive.cloudera.com/cdh5/cdh/5/ 文章目录一、CDH版本hadoop重新编译二、CDH版本的zookeeper环境搭建2.1 修改配置文件node01修改配置文件node02修改配置文件node03修改配置文件2.2 启动zk服务三、CDH 伪分布式环境搭建第一步：上传压...
大数据入门--CDH 分布式环境搭建（集群的搭建）
热门推荐
Mr_Yang888的博客
11-04 1万+
集群的搭建 第一步：配置jdk(三台）
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)1
08-03
1.关闭防墙 service iptables stop 2.关闭selinux 3.修改主机名 4.ssh密码拷数据 5.设置主机名和IP对应 1.单个节点逐
hadoop cdh版本伪分布式集群搭建图文教程
08-18
hadoop cdh版本伪分布式集群搭建详细图文教程
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
基于Ubuntu 14.04.3，搭建完全分布式CDH集群参考资料。 在公司测试环境中使用3台服务器完成搭建，
cdh6.1.0搭建手册.pdf
04-01
CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决...
CDH5.4.5 离线分布式安装（步骤最全最详细）
04-29
包括安装CDH的详细文档, CDH5.4.5 离线分布式安装（步骤最全最详细）
CDH5集群部署指南
02-19
Linux系统下，完全分布式CDH5（Hadoop）集群部署指南。
CDH软硬件配置建议
12-07
该文档为Cloudera官方提供的CDH部署的软硬件配置建议，包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。
CDH部署-环境准备
watermorgan1的博客
03-02 147
规划 服务器 角色 一、修改主机名配置hosts cm-server systemctl stop firewalld systemctl disable firewalld.service hostnamectl set-hostname cm-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EO
Hadoop（CDH）分布式集群安装笔记（亲测）
大数据研习社
03-02 774
在搭建Hadoop集群之前需要准备已经安装好的3台节点分别为：master、slave1和slave2，Linux节点安装过程这里不在赘述。1.        集群规划1.1         主机规划  Master Slave1 Slave2 Namenode 是 是   Datanode 是 是 是 ResourceManager 是 是   NodeManager ...
CDH5.8.2分布式集群环境安装图文教程
埋雷兽的博客
02-28 3061
    本案例基于centos6.5安装CDH5.8.2分布式集群环境，都是在root用户下进行操作。到官网下载相应的安装包与校验文件集群环境：192.168.168.124 master；192.168.168.125 slaver1；192.168.168.126 slaver2一、准备工作1、卸载原jdk并安装jdk1.7.0_45，然后配置环境变量2、关闭防火墙和关闭selinux3、修改...
Cloudera平台参考部署架构
clouderahyr的博客
05-29 7305
Cloudera平台软件体系结构 Cloudera的软件体系结构中包含了以下模块：系统部署和管理，数据存储，资源管理，处理引擎，安全，数据管理，工具库以及访问接口。一些关键组件的角色信息： 硬件配置 集群服务器按照节点承担的任务分为管理节点和工作节点。管理节点上一般部署各组件的管理角色，工作节点一般部署有各角色的存储、容器或计算角色。根据业务类型不同，集群
cdh-HDFS HA配置硬件
lisery的博客
06-21 554
要使用基于Quorum的存储部署HA群集，您应该准备以下内容： 1.NameNode hosts：这些是您在其上运行活动和备用NameNode的主机。它们应该具有相同的硬件，以及与非HA集群中使用的硬件等效的硬件。 2.JournalNode hosts：这些是您运行JournalNodes的主机。 Cloudera建议您在“主”主机或主机上部署JournalNode守护程序（NameNode...
CDH 伪分布式环境搭建
weixin_44431083的博客
01-08 458
CDH 伪分布式环境搭建 第一步：上传压缩包并解压 将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz tar -zxvf hadoop-2.6.0-cdh...
搭建CDH hadoop分布式集群
最新发布
07-28
要搭建CDH（Cloudera Distribution including Apache Hadoop）的Hadoop分布式集群，您可以按照以下步骤进行操作： 1. 硬件准备：选择适合您需求的硬件，包括Master节点和Worker节点。Master节点通常包含NameNode、ResourceManager和其他管理组件，而Worker节点包含DataNode和NodeManager。 2. 操作系统准备：确保所有节点都安装了支持CDH的操作系统，如CentOS、Red Hat Enterprise Linux等，并进行必要的系统配置。 3. 安装CDH：下载CDH的安装包，根据官方文档的指引进行安装。您可以选择使用Cloudera Manager进行自动化安装，或者手动安装CDH的各个组件。 4. 配置集群：使用Cloudera Manager或手动配置各个组件的配置文件，包括HDFS、YARN、Hive、HBase等。确保配置正确，并进行必要的优化和调整。 5. 启动集群：启动各个组件，确保它们能够正常启动并工作。 6. 集群测试：使用CDH提供的工具和命令行工具，如hdfs dfs命令、yarn命令等，对集群进行测试和验证。确保Hadoop集群能够正确运行和处理任务。 7. 高可用和容错：根据需求，配置Hadoop的高可用和容错功能，如配置多个NameNode实现HDFS的冗余和故障转移，配置ResourceManager的容错等。 8. 安全配置：根据需求，配置Hadoop的安全功能，如Kerberos认证、SSL加密等，以保护集群的安全性。 以上是搭建CDH Hadoop分布式集群的一般步骤，具体操作细节可以参考Cloudera官方文档或其他相关资源。请注意，这只是一个概述，实际操作可能会有所不同，具体取决于您的环境和需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值