CDH 5.7.0 离线安装详解

最新推荐文章于 2021-03-31 11:22:07 发布
最新推荐文章于 2021-03-31 11:22:07 发布
阅读量7.7k 收藏 4
点赞数 2
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzy0623/article/details/51601989
版权

一、CDH 安装概述

有三种方式安装CDH：
Path A - 通过Cloudera Manager自动安装
Path B - 使用Cloudera Manager Parcels或Packages安装
Path C - 使用Cloudera Manager Tarballs手工安装

不同方式的安装步骤总结如下：

步骤

 

 

 

步骤 1: 安装 JDK

Cloudera Manager Server、Management Service和CDH需要安装JDK。

有两个选项：

. 使用Cloudera Manager安装程序在集群中的所有主机的/usr/java下安装一个Oracle JDK的支持版本。

. 使用命令行在所有主机上安装一个Oracle JDK的支持版本，并且设置JAVA_HOME环境变量为JDK的安装目录。

 

步骤 2: 设置数据库

Cloudera Manager Server、Cloudera Management Service和某些CDH的可选服务需要安装、配置和启动数据库。

有两个选项：

使用Cloudera Manager安装程序安装、配置和启动一个内嵌的PostgresSQL数据库。

使用诸如yum这样的命令行包安装工具安装、配置和启动数据库。

 

 

Path A

Path B

Path C

步骤

 3: 安装Cloudera Manager服务器

在一台主机上安装和启动Cloudera Manager服务器。

 

使用Cloudera Manager安装程序安装它的包和服务器。需要该主机的sudo权限并能访问互联网。

 

使用Linux包安装命令（如yum）安装Cloudera Manager服务器。

修改数据库属性。

使用服务命令启动Cloudera Manager服务器。

使用Linux命令解包，并且使用服务命令启动服务。

 

Phase 4: 安装Cloudera Manager 代理

在所有主机上安装并启动

Cloudera Manager 代理。

使用Cloudera Manager安装向导在所有主机上安装代理。

 

有两个选项：

. 使用Linux包安装命令（如yum）在所有主机上安装Cloudera Manager代理。

. 使用Cloudera Manager安装向导在所有主机上安装代理。

使用Linux命令在所有主机上解包并启动代理。

Phase 5: 安装CDH和受管服务的软件

在所有主机上安装、配置并启动CDH和受管服务。

 

使用Cloudera Manager安装向导安装CDH和其它受管服务。

 

有两个选项：

. 使用Cloudera Manager安装向导安装CDH和其它受管服务。

. 使用Linux包安装命令（如yum）在所有主机上安装CDH和其它受管服务。

使用Linux命令在所有主机上解包，并使用服务命令启动CDH和受管服务。

Phase 6: 建立、配置并启动CDH和受管服务

配置并启动CDH和受管服务。

 

使用Cloudera Manager安装向导安装CDH和其它受管服务，给主机赋予角色并配置集群。许多配置是自动的。

 

使用Cloudera Manager安装向导安装CDH和其它受管服务，给主机授予角色并配置集群。

许多配置是自动的。

 

使用Cloudera Manager安装向导安装CDH和其它受管服务，给主机赋予角色并配置集群。

许多配置是自动的。

也可以使用Cloudera Manager API管理一个集群，这对于脚本预配置部署是很有用的。


二、实验环境

1. IP和主机名，所有主机都可以连接互联网
172.16.1.101 cdh1
172.16.1.102 cdh2
172.16.1.103 cdh3
172.16.1.104 cdh4

2. 硬件资源
每个机器：CPU4核、内存8G、硬盘100G

3. 操作系统
CentOS release 6.4 (Final) 64位

三、配置步骤
1. 安装前准备（都是使用root用户在集群中的所有主机配置）
（1）从以下地址下载所需要的安装文件
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz
http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.7/manifest.json

（2）使用下面的命令检查OS依赖包，xxxx换成包名
rpm -qa | grep xxxx
以下这些包必须安装：
chkconfig
python (2.6 required for CDH 5)
bind-utils
psmisc
libxslt
zlib
sqlite
cyrus-sasl-plain
cyrus-sasl-gssapi
fuse
portmap (rpcbind)
fuse-libs
redhat-lsb

（3）配置域名解析
vi /etc/hosts
# 添加如下内容
172.16.1.101 cdh1
172.16.1.102 cdh2
172.16.1.103 cdh3
172.16.1.104 cdh4

（4）安装JDK
CDH5推荐的JDK版本是1.7.0_67、1.7.0_75、1.7.0_80，这里安装1.7.0_80
注意：
. 所有主机要安装相同版本的JDK
. 安装目录为/usr/java/jdk-version
mkdir /usr/java/
mv jdk-7u80-linux-x64.tar.gz /usr/java/
cd /usr/java/
tar -zxvf jdk-7u80-linux-x64.tar.gz
chown -R root:root jdk1.7.0_80/
echo "export JAVA_HOME=/usr/java/jdk1.7.0_80;" >> /etc/profile.d/java.sh 
echo "export CLASSPATH=.:$JAVA_HOME/jre/lib/*:$JAVA_HOME/lib/*;" >> /etc/profile.d/java.sh
echo "export PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile.d/java.sh
source /etc/profile.d/java.sh
echo $JAVA_HOME

（5）安装启动NTP服务（NTP配置步骤略）
service ntpd start

（6）建立CM用户
useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
usermod -a -G root cloudera-scm
echo USER=\"cloudera-scm\" >> /etc/default/cloudera-scm-agent

echo "Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin" >> /etc/sudoers

（7）安装配置MySQL数据库（为了后面配置方便，这里每个主机都装了）

# 安装MySQL-5.6.14
rpm -ivh MySQL-5.6.14-1.el6.x86_64.rpm
# 设置PATH
echo "export PATH=$PATH:/home/mysql/mysql-5.6.14/bin" >> /etc/profile.d/mysql.sh
source /etc/profile.d/mysql.sh
# 修改root密码
mysqladmin -u root password
# 编辑配置文件
vi /etc/my.cnf
# 内容如下
[mysqld]
transaction-isolation = READ-COMMITTED
log_bin=/data/mysql_binary_log
binlog_format = mixed
innodb_flush_log_at_trx_commit  = 2
innodb_flush_method = O_DIRECT
key_buffer = 16M
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/data/mysqld.err
pid-file=/data/mysqld.pid

sql_mode=STRICT_ALL_TABLES

# 添加开机启动
chkconfig mysql on
# 启动MySQL
service mysql restart
# 根据需要建立元数据库
mysql -u root -p -e "create database hive DEFAULT CHARACTER SET utf8;create database rman DEFAULT CHARACTER SET utf8;create database oozie DEFAULT CHARACTER SET utf8;grant all on *.* TO 'root'@'%' IDENTIFIED BY '123456';"

（8）安装MySQL JDBC驱动
tar -zxvf mysql-connector-java-5.1.38.tar.gz 
cp ./mysql-connector-java-5.1.38/mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar

（9）配置免密码ssh（这里配置了任意两台机器都免密码）
# 分别在四台机器上生成密钥对：
cd ~
ssh-keygen -t rsa
# 然后一路回车
# 在cdh1上执行：
cd ~/.ssh/
ssh-copy-id cdh1
scp /root/.ssh/authorized_keys cdh2:/root/.ssh/
# 在cdh2上执行：
cd ~/.ssh/
ssh-copy-id cdh2
scp /root/.ssh/authorized_keys cdh3:/root/.ssh/
#在cdh3上执行：
cd ~/.ssh/
ssh-copy-id cdh3
scp /root/.ssh/authorized_keys cdh4:/home/grid/.ssh/
#在cdh4上执行：
cd ~/.ssh/
ssh-copy-id cdh4
scp /root/.ssh/authorized_keys cdh1:/root/.ssh/
scp /root/.ssh/authorized_keys cdh2:/root/.ssh/
scp /root/.ssh/authorized_keys cdh3:/root/.ssh/

2. 在cdh1上安装Cloudera Manager
tar -xzvf cloudera-manager*.tar.gz -C /opt/
# 建立cm数据库
/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
# 配置cm代理
vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini 
# 将cm主机名改为cdh1
server_host=cdh1
# 将Parcel相关的三个文件拷贝到/opt/cloudera/parcel-repo
cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel /opt/cloudera/parcel-repo/
cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 /opt/cloudera/parcel-repo/
cp manifest.json /opt/cloudera/parcel-repo/
# 改名
mv /opt/cloudera/parcel-repo/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha
# 修改属主
chown -R cloudera-scm:cloudera-scm /opt/cloudera/
chown -R cloudera-scm:cloudera-scm /opt/cm-5.7.0/
# 将/opt/cm-5.7.0目录拷贝到其它三个主机
scp -r -p /opt/cm-5.7.0 cdh2:/opt/
scp -r -p /opt/cm-5.7.0 cdh3:/opt/
scp -r -p /opt/cm-5.7.0 cdh4:/opt/

3. 在每个主机上建立/opt/cloudera/parcels目录，并修改属主
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4. 在cdh1上启动cm server
/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start
# 此步骤需要运行一些时间，用下面的命令查看启动情况
tail -f /opt/cm-5.7.0/log/cloudera-scm-server/cloudera-scm-server.log

5. 在所有主机上启动cm agent
mkdir /opt/cm-5.7.0/run/cloudera-scm-agent
chown cloudera-scm:cloudera-scm /opt/cm-5.7.0/run/cloudera-scm-agent
/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start

6. 登录cm控制台，安装CDH5
打开控制台
http://172.16.1.101:7180/
页面如图1所示。


图1

缺省的用户名和密码都是admin，登录后进入欢迎页面。勾选许可协议，如图2所示，点继续。


图2

进入版本说明页面，如图3所示，点继续。


图3

进入服务说明页面，如图4所示，点继续。


图4

进入选择主机页面，如图5所示，全选四个主机，点继续。


图5

进入选择存储库页面，如图6所示，点继续。


图6

进入集群安装页面，如图7所示，点继续。


图7

进入验证页面，如图8所示，点完成。


图8

进入集群设置页面，如图9所示，根据需要选择服务，点继续。


图9

进入自定义角色分配页面，如图10所示，保持不变，点继续。


图10

进入数据库设置页面，填写相关信息，点测试连接，如图11所示，点继续。


图11

进入审核更改页面，保持不变，点继续。

进入首次运行页面，等待运行完，如图12所示，点继续。


图12

进入安装成功页面，如图13所示，点完成。


图13

进入安装成功页面，如图14所示。


图14

参考：
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
wzy0623
关注
专栏目录
flume-ng-1.6.0 cdh5.7.0安装包
03-01
flume-ng-1.6.0 cdh5.7.0安装包，稳定版本。大家可以自由下载
cdh5.7.0.rar
03-02
大数据CDH 安装包，包含hadoop-2.6.0-cdh5.7.0.tar.gz、hbase-1.2.0-cdh5.7.0.tar.gz、hive-1.1.0-cdh5.7.0.tar.gz、spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz、sqoop-1.4.6-cdh5.7.0.tar.gz
Centos7.4离线本地yum源自动化安装CDH5.13.0脚本
11-24
使用说明： 1、 请仔细阅读脚本内容是否真实符合本地Linux操作系统和CDH使用版本 2、 参数说明：在Cloudera Manager Server上部署脚本和文档，hostname请参照附件2内的内容填写 3、 执行方法：见附件内详细说明 sh 脚本文件 [远程用户名] [远程密码] [host文件列表] 声明： 1、本脚本已经在生产环境真实部署，请根据实际情况进行修改 2、本脚本为本人亲自编写，如有不当之处或改进之处请在评论指正，本着分享原则分享出来，共同进步
CDH 5.7.0离线安装指南
ksh的博客
05-08 3752
系统环境 硬件环境：window下VMware 11虚拟机 操作系统：红帽6.5服务器版本 Cloudera Manager：5.7 CDH：CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel 元数据库：Mysql 5.6 参考说明 http://www.cloudera.com/documentation/enterprise/latest/topics/i
CDH大数据平台搭建
you_two的博客
03-31 414
一、准备4台虚拟机 ip 机器名 角色 192.168.160.128 host01 CM管理组件 192.168.160.130 host02 namenode/resource manager/hbase master/impala statestore/impala catalog server/hiveserver2/hive
Hadoop CDH5.7.0离线安装与暴力卸载(坑集锦)与暴力卸载(坑集锦)
02-27
根据提供的标题、描述以及部分内容，本文将详细解析Hadoop CDH5.7.0的离线安装过程，并针对其中可能出现的问题进行深入分析。此外，还会介绍如何进行暴力卸载的操作，帮助读者解决在安装和卸载过程中遇到的各种“坑...
CDH6.3.2离线安装部署下载
02-16
1、完整的CDH6.3.2离线安装包，包含CM6.3.1 2、离线安装部署文档
CDH5.16.1离线安装.docx
06-21
### CDH5.16.1离线安装与配置知识点详解 #### 一、环境准备与基础设置 在进行CDH5.16.1的安装之前，需要完成一系列的基础环境搭建工作，主要包括： 1. **操作系统的选择**：文档推荐使用CentOS 7作为操作系统。...
CDH5离线安装和配置指南
08-23
### CDH5离线安装与配置详解 #### 一、CDH5简介 **CDH**(Cloudera's Distribution including Apache Hadoop)是由Cloudera公司维护并开发的一个Hadoop发行版。它基于Apache Hadoop的稳定版本构建，并集成了大量的...
CDH5.10.0离线安装部署文档
10-05
CDH5.10.0的离线安装部署涉及到多种服务组件，其中包括HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）和ZooKeeper等。 在进行CDH5.10.0离线安装部署前，需要进行集群规划和角色...
CDH6.1.1全离线安装RPM依赖包
03-02
依赖基于OS版本为CentOS-7-x86_64-Minimal-1810.iso，其他的系统可能依赖不同，请自主选择，其中包含的rpm安装包有： bind-utils, cyrus-sasl, fuse, fuse-libs, httpd, libtidy, libxslt, mod_ssl, mysql-python, nc, net-tool, ntp, openssl-devel, portmap, python-psycopg2, python-setuptools, redhat-lsb
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
CM5.7.0 - CDH5.7.0安装
ukakasu的博客
04-20 1109
CM5.7.0 - CDH5.7.0的安装配置  0、依赖安装：  升级内核： rpm -uvh kernel-firmware-2.6.32-573.el6.noarch.rpm rpm -uvh kernel-2.6.32-573.el6.x86_64.rpm 重启机器  添加依赖包： python-psycopg2 rpm -ivh python-psycopg2
CDH5.7快速离线安装教程
数据挖掘学习者
04-17 2万+
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。 由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH
Hadoop-2.6.0-cdh5.7.0安装详解
weixin_39216383的博客
01-02 8090
下载Hadoop和JDK 下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK 解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/ja
CDH常用安装包
不务正业的猿
08-26 1879
目录 CDH 6.0.1 redhat7/Centos7 x86_64 CDH 6.0.1 redhat6/Centos6 x86_64 CDH 6.1.1 redhat7/Centos7 x86_64 CDH 6.1.1 redhat6/Centos6 x86_64 CDH 6.2.0 redhat7/Centos7 x86_64 CDH 6.2.0 redhat6/Centos6 x86_64 CDH 6.3.0 redhat7/Centos7 x86_64 CDH 6.3.0 r.
Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
热门推荐
萌萌小七的专栏
07-18 5万+
转载自：http://blog.csdn.net/jdplus/article/details/45920733 （部分内容经过修改和编辑） CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用
cdh包下载地址
lookingforwardToHope的博客
12-11 923
cdh包下载地址： cdh5：http://archive.cloudera.com/cdh5/ centos版：http://archive.cloudera.com/cdh5/cdh/5/ parcel包：https://archive.cloudera.com/cdh5/parcels/ cdh6：https://archive.cloudera.com/cdh6/ cm包下载地址：http...
CDH离线安装手册
xyjikl
11-10 642
公司终于有升级Hadoop版本的意思了，于是强烈推荐CDH版本，终于在再三的推荐下初步确定使用CDH版本了。于是CDH的测试集群搭建开始了。撒花... CDH版本：5.3.0 操作系统版本：CentOS 6.3 JDK版本：jdk-7u71-linux-x64 资源下载： Cloudera Manager，选择操作系统对应的版本。 CDH，下载CDH和对应的sha1文件
CDH 5.7.0 离线安装教程与常见问题解决
本文档详细介绍了如何离线安装及升级CDH 5.7.0版本，针对的是Apache Hadoop的商业发行版——Cloudera Distribution Hadoop (CDH)。CDH在Apache Hadoop的基础上提供了更便捷的管理和监控功能，通过Cloudera Manager ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值