CDH6.2平台离线安装指南（完全版）

最新推荐文章于 2024-07-24 17:25:05 发布
最新推荐文章于 2024-07-24 17:25:05 发布
阅读量3.7k 收藏 4
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43609821/article/details/113740793
版权
本文档详细介绍了在 CentOS 7 上安装和配置 CDH6.2.0 的过程，包括环境准备、系统配置、免密登陆、时间同步、Java 和 MySQL 安装、配置本地 yum 源、安装 Httpd 服务、Cloudera Manager 包源配置、安装 Cloudera Manager 以及集群服务。最后，通过 Cloudera Manager 控制台完成集群安装。
摘要由CSDN通过智能技术生成

一、平台概述

CDH，全称Cloudera’s Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。
CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。
CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。

二、环境准备

1.安装包准备
1）系统安装包
选用centOS7.3或7.6完整版安装包，便于安装依赖。
将iso文件保存在/opt目录下备用。
2）CDH平台安装包
Cloudera manager安装包（包括JDK）：
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
在这里插入图片描述

全部下载。
CDH6.2.0安装包地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/
centos7下载以下三个文件
在这里插入图片描述
2.服务器配置修改
三台分别为hdp01/hdp02/hdp03，以hdp01为主节点。
2.1 修改主机名（3台，在root用户下操作）
[root@hdp01 ~]＃ vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hdp01

[root@hdp01 ~]＃ source /etc/sysconfig/network

[root@hdp01 ~]＃ vi /etc/hosts
172.19.11.42 hdp01
172.19.11.43 hdp02
172.19.11.44 hdp03

[root@hdp01 ~]＃ /etc/init.d/network restart

2.2 关闭防火墙
查看防火墙状态
[root@hdp01 ~]＃ systemctl status firewalld
关闭防火墙
[root@hdp01 ~]＃ systemctl stop firewalld
禁止防火墙开机自启
[root@hdp01 ~]＃ systemctl disable firewalld

关闭SELINUX
[root@hdp01 ~]＃ vim /etc/selinux/config
SELINUX=disabled (修改)

注意： 需重启服务器生效
2.3 修改Linux swappiness参数(所有节点）
为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

2.4 禁用透明页
[root@hdp01 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@hdp01 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@hdp01 ~]# echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/rc.local
[root@hdp01 ~]# echo ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/rc.local
3.免密登陆设置（3台）
＃ ssh-keygen -t rsa
＃ ssh-copy-id hdp01
＃ ssh-copy-id hdp02
＃ ssh-copy-id hdp03
4.时间同步设置（3台）
修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
安装ntp
yum -y install ntp
ntp主机配置 vi /etc/ntp.conf
manager节点
restrict 127.0.0.1　　　 #这是允许本机查询
restrict 172.19.11.1 mask 255.255.255.0 nomodify
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
其余节点

重新启动 ntp 服务：service ntpd restart
设置开机自启：systemctl enable ntpd.service
ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态
配置成功状态（服务开启后前面出现*说明成功）
5.安装必要软件（3台）
Python httpd createrepo perl iproute等
可选择一台能联网的虚拟机作为安装包源
yum install --downloadonly --downloaddir=./libxslt libxslt
只下载不安装
6.Java安装（3台）

mkdir /usr/java/
tar -xzvf jdk-8u261-linux-x64.tar.gz -C /usr/java/
ln -s jdk1.8.0_261/ default

vi /etc/profile

export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

7.MySQL安装（hdp01）
参考博客
https://www.cnblogs.com/yy3b2007com/p/10497787.html

获取初始密码

# grep 'temporary password' /var/log/mysqld.log

更改root密码为123456

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_length=6;
Query OK, 0 rows affected (0.00 sec)

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.00 sec)

$ systemctl status mysqld

将Mysql驱动包拷贝到每台服务器下的目录下： /usr/share/java/

# cp mysql-connector-java-8.0.16.jar /usr/share/java/mysql-connector-java.jar

在MYSQL中创建需要用到的数据库：

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE rmon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 
mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE USER 'cdh'@'%' IDENTIFIED BY '123456'; 
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT ALL ON *.* TO 'cdh'@'%';
Query OK, 0 rows affected (0.00 sec)

8.用系统镜像配置本地yum源（hdp01）
cd /etc/yum.repos.d/
将目录下的repo文件备份到其他位置

 mkdir /iso
 cd /opt/
 mount -o loop /opt/CentOS-7-x86_64-DVD-1611.iso /iso
 vi /etc/yum.repos.d/centos.repo

方法一
写入如下配置：

[centos]
name=CentOS7
baseurl= http://hdp01:7900
gpgcheck=1
enabled=1
gpgkey= http://hdp01:7900/RPM-GPG-KEY-CentOS-7

python -m SimpleHTTPServer 7900 #注意:安装过程中此窗口不要关闭！

方法二
将iso文件拷贝到每台服务器，挂载到/iso，然后写入如下配置：
#本源的名字（不能和其他重复）
[centos]
name=CentOS7

#步骤2中挂载镜像创建的目录
baseurl=file:///iso
#启动yum源： 1-启用 0-不启用
enabled=1

#安全检测： 1-开启 0-不开启
gpgcheck=1
gpgkey=file:///iso/RPM-GPG-KEY-CentOS-7

清理yum源
yum clean all
yum makecache
测试
yum install zip

9.安装Httpd服务（hdp01）
yum install httpd
systemctl start httpd
systemctl enable httpd.service 设置httpd服务开机自启
访问本机地址测试服务状态。
在这里插入图片描述
10.配置Cloudera Manager包yum源（hdp01）
mkdir -p /var/www/html/cloudera-repos/
将下载的cm包文件移到此目录下:
mv cm6 /var/www/html/cloudera-repos/
cd /var/www/html/cloudera-repos/cm6/
ls
创建repodata：
createrepo .
在这里插入图片描述
配置本地镜像
vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://hdp01/cloudera-repos/cm6/
gpgcheck=0
enabled=1

yum clean all
yum makecache
11.安装 Cloudera Manager（hdp01）和Agent（三台）
导入GPG key（如果没有这步操作，很可能cloudera服务安装失败）manager节点
rpm --import http://hdp01/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

在hdp01主机上执行以下命令, 同时安装CM Server和CM Agent：
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
在每台服务器执行以下命令安装Agent:

# yum install -y cloudera-manager-agent cloudera-manager-daemons

配置Agent文件：

# vi /etc/cloudera-scm-agent/config.ini

将 server_host=localhost
更改为: server_host=hdp01
在这里插入图片描述
安装完CM后/opt/ 下会出现cloudera目录

mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置

在/opt/cloudera/parcel-repo执行以下命令：

sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

执行数据库初始化脚本:

/opt/cloudera/cm/schema/scm_prepare_database.sh -h master -P 3306 mysql scm cdh 123456

参数说明： -h MysqlHost -P MysqlPort dbType dbName dbUser dbPasswd
打开server服务:
$ systemctl start cloudera-scm-server
$ systemctl enable cloudera-scm-server
在所有主机上启动CM Agent：
$ systemctl start cloudera-scm-agent
$ systemctl enable cloudera-scm-agent

关闭服务命令：
$ systemctl stop cloudera-scm-server

查看日志：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
在这里插入图片描述
出现server：Started则启动成功

打开http://manager:7180
12.登陆控制台完成安装
http://主机ip:7180/cmf/login 访问CM
用户名admin
密码admin
在这里插入图片描述
选择免费版
在这里插入图片描述
安装集群服务
Install Parcels
根据需要安装服务组件，先安装必要组件，其他组件以后再安装
在这里插入图片描述
进入详细设置：
在这里插入图片描述
以上为修改后配置，HDFS DataNode选择所有主机
ZooKeeper按照建议(应选择大于3个并为单数的主机)： 选择所有主机
其它根据需要更改，注意角色均衡和性能。

配置数据库，测试连接
在这里插入图片描述
其他配置，默认即可。继续。
在这里插入图片描述
完成集群安装。
在这里插入图片描述

大仁哥哦~
关注
专栏目录
cdh6.2.1完全离线安装教程
QYmufeng的博客
09-16 1062
一.准备工作 系统：centos7.6 cdh版本：6.2.1 主机： 系统 ip 主机名称 主机名 内存 cm server mysql httpd服务 centos7.6 192.168.112.138 cluster01.toroidal.comcluster01 8G √ √ centos7.6 192.168.112.133 cluster02.toroidal.comcluster02 4G ...
CDH6.2中使用parcel离线安装Phoenix5.0.0
王义凯 的博客
05-08 3543
最新的CDH6.2开始就支持Phoenix5的parcel版本了，记录一下安装和使用，我这里使用本地离线安装的方式。 如果需要在CDH5版本安装phoenix4请参考我之前的文章:CDH5.14集群下Phoenix4.14.0安装及性能对比phoenix/impala/hive 官方文档：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/phoenix_installation.html Phoenix的优势： 1.
CDH5.7快速离线安装教程
热门推荐
数据挖掘学习者
04-17 2万+
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。 由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH
大数据平台CDH、HDP、CDP的区别
最新发布
hxsln11的博客
07-24 1220
部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。
cdh离线安装
01-01
cdh离线安装的步走，包含环境变量的配置，hadoop、hive、hbase的安装
离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)
zhangbeizhen18的博客
10-31 2807
记录：303 场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。
CDH6.1.1全离线安装RPM依赖包
03-02
依赖基于OS版本为CentOS-7-x86_64-Minimal-1810.iso，其他的系统可能依赖不同，请自主选择，其中包含的rpm安装包有： bind-utils, cyrus-sasl, fuse, fuse-libs, httpd, libtidy, libxslt, mod_ssl, mysql-python, ...
CDH6.2大数据平台安装部署文档 .zip
10-23
大数据 云计算
CDH6.2-完整版安装文档.doc
02-26
【CDH6.2 安装详解】 CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一款全面的大数据平台，包含了多个开源项目，如Hadoop、Spark、HBase等，用于构建、管理和运行大规模数据处理应用...
CDH5 Hadoop集群完全离线安装说明
08-14
CDH5 Hadoop集群完全离线安装说明
CDH 5.3.3离线安装
nieji3057的博客
07-21 796
三台服务器构成的小集群 离线部署CDH5.3.3 下载离线包： http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz http://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel ...
CDH6.0.1离线安装
login_sonata的博客
07-05 3017
计划用vmware虚拟机安装三个节点，其中Cloudera Manager Server一台（用来管理），cdh两台（Hadoop主从）。所有操作在root用户下进行。 版本： 软件 版本 os CentOS Linux release 7.5.1804 jdk 1.8.0_141 cm（Cloudera Manager） cm6（6.0.1） cdh（Parcels）...
从零开始搭建CDH6.2操作手册（离线版）
DraGon_HooRay的博客
08-20 1438
一、预备阶段 1、集群机器 2、安装包 jdk: oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm mysql: mysql-5.7.28.zip mysql-connector-java-5.1.47.tar.gz cloudera-repos-6.2.0: cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm c
离线安装cdh6.3.1
csdn_chenhao的博客
02-26 1133
离线安装cdh 安装过程比较繁琐，请耐心阅读。祝您好运！ 1.环境准备 三台linux服务器(安装jdk1.8+，python2.7以上)： 192.168.10.53 node-cdh1（主节点，建议cpu32c，内存64G以上） 192.168.10.54 node-cdh2（建议内存32G以上） 192.168.10.55 node-cdh3（建议内存32G以上） 各节点/opt/cloudera/parcels目录建议10G以上 下载 jdk（已安装可省略） https://www.or
cdh离线安装部署
一亩三分地
04-18 1549
cdh安装准备环境的博文请参考：https://mp.csdn.net/console/editor/html/105581435 CM离线部署: serveragent [root@mycluster001 cdh5.16.2]# mv cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz /tmp/ [root@mycluste...
cdh6.2离线安装（傻瓜式安装教程）
weixin_45682234的博客
04-29 6395
CDH6.2离线安装流程 1 安装准备 1.1 cdh6.2 下载方式一： 官网下载 https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/ 都下载下来 https://archive.cloudera.com/cdh6/6.2.0/parcels/ 只要el7.parcel 和 el7.parcel.sha1 下载式二：...
CDH 6.3.2-1 离线安装部署（Centos7.9）
小强签名设计 的博客
12-27 1053
  三台服务器都操作： 三、安装 Cloudera-Manager 四、访问 Cloudera Manager 五、集群异常信息解决 参考： Linux搭建Cloudera Manager+CDH6.3.1环境
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值