hadoop-cdh搭建

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量853 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shursulei/article/details/71303198
版权

一、前期的环境准备参考地址
1、同步时间

[root@CDHnode1 opt]# date
Sat May  6 09:42:03 EDT 2017

（1）、本地联机

进入/usr/share/zoneinfo/Asia
[root@CDHnode2 Asia]# cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime 
cp: overwrite ‘/etc/localtime’? 
[root@CDHnode2 Asia]# date
Sat May  6 09:46:04 EDT 2017

（2）、ntp(网络时间协议)同步时间
需要在三个节点上都进行操作

安装ntp
[root@CDHnode1 Asia]# yum -y  install ntp
[root@CDHnode1 Asia]# ntpdate pool.ntp.org
[root@CDHnode1 Asia]# date
Sat May  6 09:57:09 EDT 2017
[root@CDHnode2 Asia]# date
Sat May  6 09:57:09 EDT 2017
[root@CDHnode2 Asia]# date
Sat May  6 09:57:09 EDT 2017

2、关闭防火墙

[root@CDHnode1 opt]# systemctl stop firewalld
[root@CDHnode1 opt]# systemctl disable firewalld
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

二、开始配置hadoop文件
节点的配置
这里写图片描述
cdh的下载地址：附
1、slaves文件的配置

CDHnode2
CDHnode3

2、hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8
export HADOOP_LOG_DIR=/home/hadoopcdh/logs

3、hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.nameservices</name>
                <value>shursulei</value>
        </property>
        <property>
                <name>dfs.ha.namenodes.shursulei</name>
                <value>nn1,nn2</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.shursulei.nn1</name>
                <value>CDHnode1:9000</value>
        </property>
        <property>
               <name>dfs.namenode.http-address.shursulei.nn1</name>
                <value>CDHnode1:50070</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.shursulei.nn2</name>
                <value>CDHnode2:9000</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.shursulei.nn2</name>
                <value>CDHnode2:50070</value>
        </property>
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://CDHnode1:8485;CDHnode2:8485;CDHnode3:8485/shursulei</value>
        </property>
        <property>
                <name>dfs.client.failover.proxy.provider.shursulei</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/home/hadoopcdh/journaldata/jn</value>
        </property>
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>shell(/bin/true)</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>10000</value>
        </property>
        <property>
                <name>dfs.namenode.handler.count</name>
                <value>100</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
</configuration>

4、yarn-site.xml

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>CDHnode1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

5、mapred-site.xml

    <property>
                <name>mapred.job.tracker</name>
                <value>CDHnode1:9001</value>
        </property>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

6、core-site.xml

       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://CDHnode1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoopcdh/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hduser.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hduser.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>CDHnode1:2181,CDHnode2:2181,CDHnode3:2181</value>               
        </property>
        <property>
                <name>hadoop.proxyuser.hue.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hue.groups</name>
                <value>*</value>
        </property>

三、zookeeper-3.4.5-cdh5.4.5.tar.gz的安装、环境变量配置
注意：hadoop-2.6.0-cdh5.4.5.tar.gz与Zookeeper-3.4.5-cdh5.4.5.tar.gz保持一致
1、解压文件
2、进入conf的文件下，进入如下的位置，修改为zoo.cfg

[root@CDHnode1 zookeeper-3.4.5-cdh5.3.2]# cd conf
[root@CDHnode1 conf]# ll
total 12
-rw-rw-r--. 1 root root  535 Feb 24  2015 configuration.xsl
-rw-rw-r--. 1 root root 2693 Feb 24  2015 log4j.properties
-rw-rw-r--. 1 root root  808 Feb 24  2015 zoo_sample.cfg
[root@CDHnode1 conf]# mv zoo_sample.cfg zoo.cfg
[root@CDHnode1 conf]# ll
total 12
-rw-rw-r--. 1 root root  535 Feb 24  2015 configuration.xsl
-rw-rw-r--. 1 root root 2693 Feb 24  2015 log4j.properties
-rw-rw-r--. 1 root root  808 Feb 24  2015 zoo.cfg

3、修改zoo.cfg文件

需要修改的地方
dataDir=/home/hadoopcdh/zookpeer*注意此处要手动创建*
server.1=CDHnode1:2892:3892
server.2=CDHnode2:2892:3892
server.3=CDHnode3:2892:3892

分析
分析
4、进入zookpeer下创建myid文件

[root@CDHnode1 zookpeer]# vi myid
[root@CDHnode1 zookpeer]# cat myid
1
[root@CDHnode2 zookpeer]# vi myid
[root@CDHnode2 zookpeer]# cat myid
2
[root@CDHnode3 zookpeer]# vi myid
[root@CDHnode3 zookpeer]# cat myid
3

5、将配置好的文件复制到其他的机器中

[root@CDHnode1 soft]# scp zookeeper-3.4.5-cdh5.3.2.tar.gz  root@CDHnode2:/home/hadoopcdh/soft
[root@CDHnode1 hadoop]# scp ./* root@CDHnode3:/home/hadoopcdh/soft/hadoop-2.6.0-cdh5.4.5/etc/hadoop
[root@CDHnode1 conf]# scp ./* root@CDHnode2:/home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/conf
configuration.xsl                                                                100%  535     0.5KB/s   00:00    
log4j.properties                                                                 100% 2693     2.6KB/s   00:00    
zoo.cfg                                                                          100%  902     0.9KB/s   00:00    
[root@CDHnode1 conf]# scp ./* root@CDHnode3:/home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/conf
configuration.xsl                                                                100%  535     0.5KB/s   00:00    
log4j.properties                                                                 100% 2693     2.6KB/s   00:00    
zoo.cfg                                                                          100%  902     0.9KB/s   00:00

6、在安装zookpeer的机器上启动(1、2、3都安装了)
./bin/zkServer.sh start
此处配置/etc/profile文件可以便于启动zookpeer

#zookpeer
export ZOOKEEPER_HOME=/home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2
export PATH=$PATH:$ZOOKEEPER_HOME/bin

四、初始化hdfs
这里写图片描述
1、启动zookpeer

[root@CDHnode3 ~]# zkServer.sh start
JMX enabled by default
Using config: /home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看zookpeer的状态：(F F L)

[root@CDHnode1 ~]# zkServer.sh status
JMX enabled by default
Using config: /home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/bin/../conf/zoo.cfg
Mode: follower
[root@CDHnode2 ~]# zkServer.sh status
JMX enabled by default
Using config: /home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/bin/../conf/zoo.cfg
Mode: follower
[root@CDHnode3 ~]# zkServer.sh status
JMX enabled by default
Using config: /home/hadoopcdh/soft/zookeeper-3.4.5-cdh5.3.2/bin/../conf/zoo.cfg
Mode: leader

2、启动journalnode（所有journalnode节点都得起）
./sbin/hadoop-daemon.sh start journalnode
这里，CDHNode1、2和3都要做。
3、主节点(CDHNode1)的执行
./bin/hdfs namenode -format
./bin/hdfs zkfc -formatZK
./bin/hdfs namenode
错误问题一：
这里写图片描述
这是因为没有配置hdfs-site.xml的ha
错误问题二：
这里写图片描述
上面的问题未解决
错误问题三：
这里写图片描述
buildSupportsSnappy()Z问题，解决链接：
知识点，CDH默认是没有提供native库的，需要我们自己去编译。
通过hadoop-2.6.0-cdh5.4.5.src.tar.gz来编译，安装snappy并生成hadoop native本地库。下载地址附

如果本文知识点不足，可以参考附

shursulei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH搭建hadoop环境文档指南
10-24
CDH搭建hadoop环境文档指南，本文档是搭建基于CDH的 hadoop开发环境的文档，详细描述了如何搭建CDH的环境，同时还有其他环境的搭建，如jstorm，ElasticSearch等
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
用户可以通过解压此文件，编译安装来搭建自己的Hadoop环境，进行分布式计算和数据存储。这个版本还包含了其他相关工具，如Hadoop命令行工具、Hadoop守护进程等，用于管理和操作Hadoop集群。 而hadoop-2.6.0-cdh...
hadoop CDH
热门推荐
小海的专栏
02-07 3万+
CDH 1、CDH简介 CDH：全称Cloudera’s Distribution Including Apache Hadoop　　CDH版本衍化　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution Hadoop)。
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1351
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
Hadoop CDH 分布式环境搭建
LeeBoolean的博客
10-06 1478
Hadoop CDH 分布式环境搭建1.上传压缩包并解压2.查看Hadoop支持的压缩方式以及本地库3.修改配置文件修改core-site.xml修改hdfs-site.xml修改Hadoop-env.sh(如果配置了JDK1.8就不用修改)修改mapred-site.xml修改yarn-site.xml修改slaves文件4.创建文件存放目录5.安装包的分发6.配置Hadoop的环境变量7.集群启动单个节点逐一启动脚本一键启动HDFS、Yarn脚本一键启动所有8.浏览器查看启动页面 1.上传压缩包并解压
2 CDH 部署hadoop
三成的博客
02-02 755
1. 部署环境 CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进行管理整体集群。Cloudera Manager Server需要部署在一台设备上。 Cloudera Manager Agent：部署在每个需要监控与管理的设备上。
Hadoop平台CDH介绍
wangnan229的博客
06-18 1920
文章目录Hadoop平台CDH简介安装应用 Hadoop平台CDH简介 CDH是Cloudera开发的基于Hadoop生态的一系列组件的组合，简化了Hadoop生态各个组件的版本匹配及安装、集群管理、监控等。 如果实时性要求不是很高，可以使用Hadoop平台，比如CDH。通过定时ETL，将在MySQL表抽取至Hive数据仓库，然后使用Impala代替MySQL快速完成复杂查询的任务。也可以将部分耗时多的处理复杂逻辑的作业转移至CDH进行计算，从而大大减轻MySQL的压力。 安装 CDH目前有5、6两个大版本
hadoop-2.6.0-cdh5.10.1.tar.gz
03-24
这个压缩包包含了一整套大数据处理所需的环境和工具，适合用于搭建一个全面的Hadoop测试或开发环境。用户可以通过解压安装这些组件，进行大数据的存储、处理、分析和管理实践。同时，对这些技术的学习和掌握，对于...
hadoop-2.5.0-cdh5.3.6集群搭建-附件资源
03-05
hadoop-2.5.0-cdh5.3.6集群搭建-附件资源
hadoop-2.6.0-cdh5.14.4 for windows
07-04
这个编译的Windows版本Hadoop-2.6.0-cdh5.14.4对于开发者来说是一大福音，因为它简化了在Windows上的Hadoop环境搭建，方便进行开发和测试工作。同时，用户可以通过这个环境更好地理解Hadoop的工作原理，学习分布式...
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
微信搜：import_bigdata，大数据领域硬核原创作者
05-06 659
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文是由alice菌发表在：https://blog.csdn.net/weixin_4431...
hadoop-2.6.0-cdh5.14.0 hadoop.dll winutils
06-08
一开始使用的是原生的hadoop2.6.0编译的hadoop.dll，但是一直遇到这个问题Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所以自己就用cdh的hadoop源码编译了一遍，踩了很多坑。最终还是解决了，能在windows中调试mapreduce了。 ps:csdn上看到同样的资源 竟然要10分，下不起 下不起。只能自己做了，5分服务大众。。。
HADOOP集成组件CDH安装部署详细教程
01-04
linux系统cdh集成组件部署安装，包括分部式系统环境的基础配置shell脚本
CDH 5.5.0 - 安装文档(Hadoop详细版)
07-26
本文介绍 CDH 安装，安装版本以当前最新版 CDH 5.5.0 为例。 CDH 提供了自动在线安装，手动离线安装的方式，本文介绍的安装方式为完全离线 安装。是同时适用于测试环境、生产环境的安装方式，对应官方安装文档章节为: Installation Path C - Manual Installation Using Cloudera Manager Tarballs
CDH版本Hadoop集群环境搭建详解
Fenggms的博客
09-19 4510
Hadoop简介1、hadoop简介以及发展历史2、hadoop的历史版本介绍3、hadoop三大公司发型版本介绍4、hadoop的架构模型第一种：NameNode与ResourceManager单节点架构模型第二种：NameNode单节点与ResourceManager高可用架构模型第三种：NameNode高可用与ResourceManager单节点架构模型第四种：NameNode与Resour...
从零搭建生产Hadoop集群（三）——CDH集群搭建
lxbalex的博客
10-20 8326
从零搭建Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH（所有...
Hadoop环境搭建（离线部署CDH版本）
helloWorld的博客
01-29 1486
相比于传统Hadoop繁琐的配置文件与版本管理，CDH提供了一个可以在线搭建Hadoop等组件的集群的系统。只需要现在本地配置好jdk等环境并安装好CM Server和CM Agent服务即可在UI界面控制集群。
cdh版本hadoop五节点部署
allen的博客
01-12 1249
感觉这篇很不错，记录下：http://blog.csdn.net/u010270403/article/details/51446674
hadoop-2.6.0-cdh5.7.0.tar.gz
03-16
hadoop-2.6.-cdh5.7..tar.gz 是一个 Hadoop 分布式计算框架的软件包，它包含了 Hadoop 2.6. 版本和 Cloudera CDH5.7. 版本的组件和工具。这个软件包可以用于搭建大规模的分布式计算集群，支持数据存储、处理和分析等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值