Hadoop cdh版本搭建

最新推荐文章于 2022-03-09 11:08:47 发布
最新推荐文章于 2022-03-09 11:08:47 发布
阅读量284 收藏 1
点赞数
分类专栏： 大数据 文章标签： Hadoop cdh版本搭建

原文档：https://blog.csdn.net/liangzelei/article/details/80359461
添加链接描述
![在这里插入图片描述](https://blog.csdn.net/liangzelei/article/details/80359461
述
本文是针对LinuxCentos7服务器与CDH5.11的安装手册。

1.2 关于CDH和ClouderaManager
CDH(Cloudera’s Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

ClouderaManager（本文以下简称为CM）则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。架构图如图1所示。

图1

1.3 术语介绍
CM: Cloudera Manager （Cloudera公司专有的Hadoop集群管控平台）；

CDH: Cloudera Distributed Hadoop（Cloudera公司重新打包发布的Hadoop版本）；

HDFS:分布式文件系统；

HBASE: 基于HADOOP的分布式、列式存储数据库；

HIVE: 基于大数据技术（文件系统+运算框架）的SQL数据仓库工具；

MAPREDUCE: 分布式运算程序开发框架；

SPARK:为大规模数据处理而设计的快速通用的计算引擎；

ZOOKEEPER: 分布式协调服务基础组件；

YARN: 负责集群资源的统一管理和调度，分配系统资源给各个应用程序。

2 环境要求
2.1 环境要求
Cloudera Manager5安装遇到很多的问题，安装ClouderaManager如果不注意，会成为一部血泪史。为了避免多次、重复安装不成功，所以你需要具备以下条件。

  1. 内存要足够大，主机必须至少有10 GB的RAM；

  2. 必须具有root或无密码sudo访问主机；

  3. 如果使用root，则主机必须接受相同的root密码；

  4. 主机必须具有Internet访问权限才能使向导从中安装软件 archive.cloudera.com；

  5. 运行支持的操作系统：

RHEL兼容系统

Red Hat Enterprise Linux和 CentOS 5.7, 64位；

Red Hat Enterprise Linux和CentOS 6.4, 64位；

Red Hat Enterprise Linux和 CentOS 6.4 in SE Linux Mode；

Red Hat Enterprise Linux和 CentOS 6.5, 64位；

Oracle Enterprise Linux5.6（UEK R2），64位；

Oracle Enterprise Linux6.4（UEK R2），64位；

Oracle Enterprise Linux6.5（UEK R2，UEK R3），64位。

SLES - SUSE Linux Enterprise Server 11,64位。

Debian - Debian 7.0和7.1,64位。

Ubuntu - Ubuntu 12.04,64位。

2.1 主机规划
本次我设定安装5个节点的集群环境，所以我们分配好ip地址和主机功能。以下是我的服务器信息，仅供参考：

序号

环境类型

具体名称

数量

IP地址

用途

规格详细

备注

1

硬件

Centos7-01

1

192.168.31.24

作为cloudera agent

内存：8G

CPU：4核

硬盘：100G

可支持虚拟环境

Centos7-02

1

192.168.31.25

作为cloudera agent

内存：8G

CPU：4核

硬盘：100G

可支持虚拟环境

Centos7-03

1

192.168.31.26

作为cloudera agent

内存：8G

CPU：4核

硬盘：100G

可支持虚拟环境

cmserver

1

192.168.31.28

作为cloudera Server

内存：16G

CPU：4核

硬盘：100G

可支持虚拟环境

Centos7-06

1

192.168.31.29

作为cloudera agent，和mysql数据库

内存：8G

CPU：4核

硬盘：100G

可支持虚拟环境

2.2 软件下载与安装
CM下载地址：http://archive.cloudera.com/cm5/cm/5/

CDH下载地址：http://archive.cloudera.com/cdh5/parcels/5.11/

将以上安装包上传至服务器/tooles/目录下。

3 服务器集群准备
3.1 JDK安装
略，

注：每台都需要安装，并配置环境变量。

3.2 Mysql安装
略

注：主服务器上安装，也可以安装在其他主机上。

3.3 关闭防火墙
每台主机执行以下命令：

  1. 修改vi /etc/selinux/config文件，将SELINUX=enforcing改为SELINUX=disabled。

  2. systemctl stop firewalld #停止firewall

  3. systemctl disable firewalld #禁止firewall开机启动

  4. systemctl status firewalld #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）。

3.4 配置hosts
每台主机执行以下命令修改配置文件，如图2所示。

vi /etc/hosts

图2

3.5 配置ntp时间同步
在每一台服务器执行以下命令：

  1. 下载ntp服务：yum -y installntp

  2. Server端修改配置文件：vi /etc/ntp.conf

restrictdefault kod nomodify notrap nopeer noquery

restrict-6 default kod nomodify notrap nopeer noquery

restrict220.130.158.71

restrict59.124.196.83

restrict59.124.196.84

restrict127.0.0.1

restrict-6 ::1

restrict192.168.100.0 mask 255.255.255.0 nomodify

servertime1.aliyun.com prefer

server220.130.158.71

server59.124.196.83

server59.124.196.84

driftfile/var/lib/ntp/drift

keys /etc/ntp/keys

  1. 在Agent端修改配置文件：vi/etc/ntp.conf

ftfile/var/lib/ntp/drift

restrict127.0.0.1

restrict-6 ::1

#配置时间服务器为本地的时间服务器

server192.168.31.28 #ip为服务器端的ip

restrict192.168.31.28 nomodify notrap noquery #ip同上

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

includefile/etc/ntp/crypto/pw

keys/etc/ntp/keys

输入地址进行测试:ntpdate -u 192.168.31.28，如图3所示。

图3

  1. 重启服务：service ntpd start

  2. 查看同步状态：ntpstat

3.6 ssh免密码登录配置（每一台）

  1. 每台主机配置免密，分别执行以下命令：

ssh-keygen -t rsa

  1. 主服务器与其它服务器免密码，在主节点上编辑以下命令发送到其他对应服务器：

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.31.28（每台服务器对应ip）

4 Cloudrea Manager安装
4.1 Server端安装

  1. 创建目录：mkdir /opt/cloudera-manager

  2. 解压CM到/opt/cloudera-manager目录下：

tar -zxvf /tooles/cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz-C /opt/cloudera-manager

  1. 创建cloudera-scm用户

useradd --system–home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home–shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

  1. 创建本地元数据存放的目录

mkdir /var/cloudera-scm-server

  1. 改变 cloudera-scm-server和cloudera-manager文件夹的属主

chown cloudera-scm:cloudera-scm/var/cloudera-scm-server

chown cloudera-scm:cloudera-scm/opt/cloudera-manager

  1. 修改配置文件，将本机做为一个服务端（注:只能写主机名，不能写ip）

vi/opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini

图4

  1. 创建parcel-repo仓库目录：

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm/opt/cloudera/parcel-repo

  1. 需要将CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1改成CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha，否则安装时会重新下载，很重要！！

mv / tooles /CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1 / tooles/CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha

  1. 将tooles下的其余三个文件都复制到parcel-repo目录下：

cp / tooles /CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel/opt/cloudera/parcel-repo

cp / tooles /CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha/opt/cloudera/parcel-repo

cp / tooles /manifest.json/opt/cloudera/parcel-repo

10.创建parcels存放目录并改变属主权限

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm/opt/cloudera/parcels

11.加入mysql的包

mkdir -p /usr/share/java

修改mysql的文件名：mv mysql-connector-java-5.1.25-bin.jar mysql-connector-java.jar

将包拷贝到：cp/keduox/5.11/mysql-connector-java.jar /usr/share/java/

12.初始化mysql

/opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.shmysql –hcentos7-06 -uroot -p1234 --scm-host cmserver scmdbn root 1234

说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。

各参数是指：

mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。

–hcentos7-06：数据库建立在centos7-06主机上面。

-uroot：root身份运行mysql。

-p1234：mysql的root密码是1234。

–scm-host cmserver：CMS的主机，一般是和mysql安装的主机是在同一个主机上，也可指定其他主机。

最后三个参数是：数据库名，数据库用户名，数据库密码。

10、启动

cd/opt/cloudera-manager/cm-5.11.1/etc/init.d

./cloudera-scm-server start

./cloudera-scm-agent start

11、访问 http://ip:7180

4.2 Agent端安装

  1. 创建目录：mkdir /opt/cloudera-manager

  2. 解压CM到/opt/cloudera-manager目录下：

tar -zxvf /tooles/cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz-C /opt/cloudera-manager

  1. 创建cloudera-scm用户

useradd --system–home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home–shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

  1. 修改配置文件，指向服务端主机名（注：只能写主机名，不能写ip）

vi/opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini

图5

  1. 创建parcels存放目录并改变属主权限

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm/opt/cloudera/parcels

  1. 进入到init.d文件夹启动

cd/opt/cloudera-manager/cm-5.11.1/etc/init.d

./cloudera-scm-agent start

5 CDH集群安装
5.1 配置集群主机
ClouderaManager浏览器默认管理账号：

http://192.168.31.28:7180

User:admin

Password:admin

首次登陆进入集群安装向导：

出现以上警告在所有主机上执行以下命令：

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

5.2 安装服务，包括hadoop，yarn，hbase等
检查主机正确性后，点击完成，进入集群配置。

选择要安装的服务，可以选择组合或自定义。

配置各节点间如何分配(注意： HDFS的Data Node 最少3个)

出现此页面，表示安装完成。

6 安装时遇到的问题
6.1 节点启动时找不到pstree命令

解决方法：安装pstree

yum install -y psmisc

6.2 数据库初始化时失败

解决方法：在mysql数据库下执行以下命令，给操作的用户向下授权的权限。

GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY’1234’ WITH GRANT OPTION;

重启mysql服务：service mysqld restart

cdmazzq
关注
专栏目录
hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装
直到世界的尽头
11-29 1万+
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。环境Cloudera Manager
cloudera cdh中hadoop-client包的作用
The Big Data Way
11-22 936
hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/hadoop-hdfs”、“/usr/lib/hadoop-mapreduce”，“/usr/lib/hadoop-yarn”等多个目录，这样引用jar包也会比较麻烦。通过yum安装hadoop-client后会生成软链接：   MRv1：/usr/...
大数据之CDH（web页面部署Hadoop）
leon.yan的博客
09-09 1万+
一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apache 2.0许可协议 官方版本称为社区版Hadoop 1.2 比较流行Hadoop版本 Apache Hadoop 维护人员比较多，更新频率比较快，稳定性相对比较差 Cloudera Hadoop（CDH） C
【环境搭建】CDH版Hadoop环境搭建
weixin_34356310的博客
09-13 485
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致   2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Fuu17的博客
03-09 2678
Hadoop装服务器-CDH6.2离线安装1. 概述2. 安装的步骤2.1 安装CDH前的安装包准备2.2 编辑/etc/hosts文件(每个节点)2.3 关闭防火墙、禁止防火墙开机自启(每个节点)2.4 ssh无密码登录2.5 配置NTP服务(所有节点)2.6. 修改Linux swappiness参数(所有节点)2.7 禁用透明页(所有节点)2.8 JDK安装(所有节点)2.9 创建/usr/share/java 目录,将mysql-jdbc包放过去(所有节点)2.10 为保证防火墙、虚拟机参数修改后生
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 4535
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
【Hadoop离线基础总结】CDH版本的zookeeper环境搭建
01-07
CDH版本的zookeeper环境搭建 下载 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 修改配置文件 创建ZooKeeper数据存放目录 mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas 修改ZooKeeper配置...
hadoop cdh5 centos 64位系统本地库编译文件
04-30
1. **Hadoop CDH5**：CDH5是Hadoop的一个企业级分发版本，包含了多个关键组件，如Hadoop MapReduce、HDFS、HBase、Hive、Pig等。它提供了一套完整的数据处理解决方案，支持大数据的存储、计算和分析。 2. **CentOS*...
大数据平台CDH的介绍和5.16/6.3版本的搭建
大宇进阶之路的博客
05-12 1万+
CDH介绍 Hadoop主流三大发行版本： 1. Apache hadoop 官方社区开源版本 2. CDH Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 3. HDP 现在cdh已经将hdp收购。Cdh公司在2...
Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 6052
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
Missing artifact org.apache.hadoop:hadoop-client:jar:2.6.0-cdh5.12.0 的解决 CDH版本hadoop的pom.xml
Ahuuua的博客
06-03 6189
需要配置下载环境CDH库 <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> <relea...
解决 dependency org.apache.hadoop:hadoop-client:2.6.0-cdh5.15.1 not found
热门推荐
qq_21277357的博客
09-15 1万+
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</version> </depen...
Hadoop22：Hadoop在CDH和HDP中的使用
weixin_40612128的博客
03-03 1549
一、Hadoop在CDH和HDP中的使用 咱们前面学习了官方的Apache Hadoop版本，我们前面也说了，在实际工作中其实会使用CDH或者HDP，那下面我们就看一下在CDH和HDP中如何操作Hadoop。 注意了，在这里我不打算讲CDH和HDP的安装部署，意义不大，咱们是开发人员，主要侧重于代码开发，安装部署的工作是运维人员的，咱们不能抢饭碗啊，什么都让你做了，别人不就得喝西北风啊，这样太不地道了，对吧。 如果确实想了解CDH是怎么安装的，看下面我整理的CDH集群以及单机部署 大数据平台安装部署–CD
maven构建CDH开发环境
trucyluce的专栏
05-12 7183
使用cloudera hadoop开发hadoop程序，官方文档上有两种方法。第一种即把相应jar包拷贝到工程目录中去，另一种即使用maven管理依赖jar包。直接拷贝如果直接在构建节点上开发程序的话直接指向jar包目录即可。 默认目录 hadoop：/opt/cloudera/parcels/CDH/lib CDH文件是指向${CDH.Version}的一个链接 lib下可用的包包含如下：
com.harmonyos.exception.VpnConnectionException.md
11-11
鸿蒙开发中碰到的报错，问题已解决，写个文档记录一下这个问题及解决方案
PDF编辑器+OCR图文转文本，好用，强烈推荐
最新发布
11-11
PDF编辑器+OCR图文转文本，好用，强烈推荐
com.harmonyos4.exception.MultiDeviceConnectionException
11-11
鸿蒙开发中碰到的报错，问题已解决，写个文档记录一下这个问题及解决方案
Hadoop CDH伪分布集群搭建实战教程
本文档是一份详尽的Hadoop CDH版本伪分布式集群搭建教程，针对初学者设计，旨在帮助读者快速掌握大数据技术的基础环境构建。以下是主要知识点的详细说明： 1. **所需软件和资源**：教程开始首先提到，参与者需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值