CDH5.16.1完全离线部署

最新推荐文章于 2021-11-15 00:25:01 发布
最新推荐文章于 2021-11-15 00:25:01 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： Hadoop CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38976805/article/details/98528238
版权

目录

CDH下载

cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1
manifest.json

配置hostname及hosts

准备三台服务器分别为hadoop001、hadoop002、hadoop003（每台的最低配 2核8G内存）
上述cdh安装软件适用于centos7，如你的系统是centos6请下载centos6版本的安装包，我这里是centos7.2

# 配置第一台服务器
hostname hadoop001
echo "hadoop001" > /etc/hostname
echo "192.168.1.11 hadoop001">> /etc/hosts
echo "192.168.1.12 hadoop002">> /etc/hosts
echo "192.168.1.13 hadoop003">> /etc/hosts

# 配置第二台服务器
hostname hadoop002
echo "hadoop002" > /etc/hostname
echo "192.168.1.11 hadoop001">> /etc/hosts
echo "192.168.1.12 hadoop002">> /etc/hosts
echo "192.168.1.13 hadoop003">> /etc/hosts

# 配置第三台服务器
hostname hadoop003
echo "hadoop003" > /etc/hostname
echo "192.168.1.11 hadoop001">> /etc/hosts
echo "192.168.1.12 hadoop002">> /etc/hosts
echo "192.168.1.13 hadoop003">> /etc/hosts

关闭所有节点的防火火墙及清空规则

systemctl stop firewalld
systemctl disable firewalld
iptables -F

关闭所有节点的selinux

vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled
设置后需要重启才能生生效

设置所有节点的时区一一致及时钟同步

设置时区

date
# 查看系统时间
timedatectl
# 查看当前系统使用的时区
timedatectl list-timezones
# 查看所有时区

timedatectl set-timezone Asia/Shanghai
#设置当前系统时区为亚洲上海时区
#注意所有节点都需要设置，并且时区保持一直

时间同步

# 所有节点安装ntp，所有节点都需要安装
yum install -y ntp

# 选取hadoop001为ntp的主节点，修改hadoop001节点上的 /etc/ntp.conf 配置文件
vi /etc/ntp.conf

# 在配置文件的顶部配置 （logfile    /var/log/ntp.log）的位置下，添加如下配置

    #文件内容
    server 0.asia.pool.ntp.org
	server 1.asia.pool.ntp.org
	server 2.asia.pool.ntp.org
	server 3.asia.pool.ntp.org
	#当外部时间不可⽤时，可使⽤本地硬件时间
	server 127.127.1.0 iburst local clock
	#允许哪些⽹段的机器来同步时间，即你从节点所在网段
	#表示 192.168.1.0网段下的所有机器都可以来同步，这里IP需要根据自己实际的IP网段进行修改
	restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

#开启hadoop001上的 ntpd及查看状态
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd
#验证
ntpq -p
#其他的从节点停⽌禁⽤ntpd服务，并同步hadoop001上的时间，即在hadoop002、hadoop003中执行以下命令
systemctl stop ntpd
systemctl disable ntpd
/usr/sbin/ntpdate hadoop001

#每天凌晨同步hadoop001节点时间，在下面命令打开的文件中添加文件内容（打开文件后，请使用vi命令添加修改保存）
crontab -e
    # 文件内容
    00 00 * * * /usr/sbin/ntpdate hadoop001

部署集群的JDK

jdk-8u45-linux-x64.tar.gz 下载

# 在所有节点上执行以下命令
mkdir /usr/java
tar -zxvf jdk-8u45-linux-x64.gz -C /usr/java/
chown -R root:root /usr/java/jdk1.8.0_45
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_45' >> /etc/profile
echo 'export PATH=${JAVA_HOME}/bin:${PATH}' >> /etc/profile
source /etc/profile
which java

离线部署MySQL5.7

MySQL5.7离线部署
MySQL离线部署请参照我另一篇博客，另外我这里是将MySQL部署在hadoop001机器上的

CDH部署

创建CDH的元数据库和⽤户、amon服务的数据库及⽤户

# 登录mysql 客户端，执行以下mysql命令
# 创建数据库，并创建用户及授权访问
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
flush privileges;

hadoop001节点部署mysql jdbc jar

mkdir -p /usr/share/java/
# 注意一定要将版本号去掉
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

离线部署cm server及agent

我这里使用hadoop001做为主节点，运行CM Server

# 所有节点，创建⽬录及解压
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/

# 所有节点修改agent的配置，指向server的节点hadoop001
sed -i "s/server_host=localhost/server_host=hadoop001/g" /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini

# 主节点修改server的配置:
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server/db.properties
    # 文件内容
	com.cloudera.cmf.db.type=mysql
	com.cloudera.cmf.db.host=hadoop001
	com.cloudera.cmf.db.name=cmf
	com.cloudera.cmf.db.user=cmf
	com.cloudera.cmf.db.password=123456
	com.cloudera.cmf.db.setupType=EXTERNAL
	
# 所有节点，创建⽤户
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

# 所有节点，⽬录修改⽤户及⽤户组
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

hadoop001节点部署离线parcel源

# hadoop001节点部署离线parcel源
mkdir -p /opt/cloudera/parcel-repo


cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
# 切记cp时，重命名去掉1，不然在部署过程CM认为如上⽂件下载未完整，会持续下载
cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
cp manifest.json /opt/cloudera/parcel-repo/

# ⽬录修改⽤户及⽤户组
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

# 所有节点创建软件安装⽬录、⽤户及⽤户组权限
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

hadoop001节点启动Server

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
#阿⾥云web界⾯，设置该hadoop001节点防⽕墙放开7180端⼝
#等待1min，打开 http://hadoop001:7180 账号密码:admin/admin
#假如打不开，去看server的log，根据错误仔细排查错误

启动所有节点上的agent

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

建议（非必须）

1、建议将/proc/sys/vm/swappiness设置为最大大值10。
swappiness值控制操作系统尝试交换内存的积极;
swappiness=0:表示最大大限度使用用物理理内存,之后才是swap空间;
swappiness=100:表示积极使用用swap分区,并且把内存上的数据及时搬迁到swap空间;
如果是混合服务器器,不不建议完全禁用用swap,可以尝试降低swappiness。
临时调整:
sysctl vm.swappiness=10
永久调整:
# 在 /etc/sysctl.conf  文件中添加以下配置
# Adjust swappiness value
vm.swappiness=10


2、已启用用透明大大⻚页面面压缩,可能会导致重大大性能问题,建议禁用用此设置。
临时调整:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久调整:
# /etc/rc.d/rc.local 文件下添加以下命令
vi /etc/rc.d/rc.local
# Disable transparent_hugepage
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

# centos7.x系统,需要为"/etc/rc.d/rc.local"文文件赋予执行行行权限
chmod +x /etc/rc.d/rc.local

CDH配置

访问 http://hadoop001:7180/
账号密码:admin/admin
接下来,全部Web界面面操作

欢迎使用用Cloudera Manager–最终用用户许可条款与条件。勾选

在这里插入图片描述

欢迎使用用Cloudera Manager–您想要部署哪个版本?选择Cloudera Express免费版本

在这里插入图片描述

感谢您选择Cloudera Manager和CDH

在这里插入图片描述
为CDH集群安装指导主机。选择[当前管理理的主机],全部勾选
在这里插入图片描述

选择存储库

在这里插入图片描述

集群安装–正在安装选定Parcel

假如本地parcel离线源配置正确,则"下载"阶段瞬间完成,其余阶段视节点数与内部网网络情况决定。
在这里插入图片描述

检查主机正确性

在这里插入图片描述

自定义服务,选择部署Zookeeper、HDFS、Yarn服务

在这里插入图片描述

自定义⻆色分配

在这里插入图片描述

数据库设置

在这里插入图片描述

审改设置,默认即可

在这里插入图片描述

首次运行

在这里插入图片描述

恭喜您!

在这里插入图片描述

主⻚

在这里插入图片描述

好笨的菜鸟
关注
专栏目录
CDH5.16.1集群企业真正离线部署(三台阿里云主机按量付费)
muyingmiao的专栏
10-06 829
一.准备工作 1.集群规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002 Alert Publisher Event ...
CDH5.16.2离线部署.docx
10-22
基于centos7， 安装CDH5.16.2的安装文档，jdk使用的是1.8，总共三个节点，根据部署步骤写的文档，已经部署成功！希望能够帮助到你
cdh5.16.1部署
Albert__Einstein的博客
11-15 313
1.修改主机名：以hadoop3为例： [root@localhost ~]# echo "hadoop003" > /etc/hostname [root@localhost ~]# vim /etc/hostname [root@localhost ~]# echo "192.168.244.111" hadoop001 >> /etc/hosts [root@localhost ~]# echo "192.168.244.112" hadoop002 >> /etc/h.
CDH5.16.1集群企业真正离线部署
Nice的博客
02-24 474
CDH5.16.1集群离线部署 离线部署节点规划： 节点 MySQL组件 Parcel文件离线源 CM服务进程 大数据组件 Hadoop001 MySQL Parcel Activity Monitor NN RM DN NM Hadoop002 Alert Publisher Event Server DN NM Hadoop003 Host Monitor Se...
CDH5.16.1 企业集群真正离线部署
Java大数据
10-10 438
离线部署主要分为三块： a.MySQL离线部署 b.CM离线部署 c.Parcel⽂件离线源部署 一 准备下载源： CM： http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz Parcel: http://archive.cloudera.com/cdh5/parcels/5.16...
CDH5.16.1企业离线部署--安装包.txt
09-10
cdh5.16.1 离线安装包，包含： CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel jdk-8u45-linux-x64.gz mysql-connector-java-5.1.47.jar CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json cloudera...
CDH5.16.1离线安装.docx
06-21
### CDH5.16.1离线安装与配置知识点详解 #### 一、环境准备与基础设置 在进行CDH5.16.1的安装之前，需要完成一系列的基础环境搭建工作，主要包括： 1. **操作系统的选择**：文档推荐使用CentOS 7作为操作系统。...
CDH5.16.1全网最细的企业级离线部署
06-14
Hadoop的调优和运维对于Hadoop来说是很重要的一个环节,对于大规模数据集来说更是如此。性能调优对于Hadoop来说无异于打"任督二脉",对于Hadoop的计算能力会有质的提升,而运维之于Hadoop来说,就好像"金钟罩,铁布衫...
CDH5.16.1集群企业真正离线部署(全网最细，配套视频，生产可实践).pdf
10-22
CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业...
CDH5.12离线搭建教程详解版
08-06
centos下cdh离线搭建详细过程，一些搭建过程中的小坑均有介绍
史上最全的手动 CentOS6.5 CDH5.16.2离线安装
屌丝骑象看世界
09-17 4698
史上最全的手动 CentOS6.5 CDH离线安装 文章目录史上最全的手动 CentOS6.5 CDH离线安装1. 集群环境及安装包1.1. 集群环境1.2. 准备安装包2. 环境准备2.1. 配置hosts映射2.2. 配置SSH免密登录2.3. 配置时间同步2.4. 关闭防火墙2.5. 关闭SELINUX2.6. 修改Linux内核参数2.7. 关闭大页面压缩2.8. 修改linux 文件最大...
CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务
weixin_30480075的博客
12-27 189
参考 Cloudera Enterprise 5.16.x Installing Cloudera Manager, CDH, and Managed Services Installation Path B - Manual Installation Using Cloudera Manager Packages 一. 环境 1.1 系统节点信息 Hostname IP CPU(cor...
CDH 5.16.2 部署
qq_41301707的博客
02-10 1459
CDH 5.16.2 部署 Cloudera 官网 本次我们部署环境为 CDH 5.16.2 本次部署使用的是三台 2 核 16 G 机器 1. 部署的方式 1.1 bin在线部署 优点：通过 shell 脚本一键部署，比较方便。 缺点：需要互联网在线下载安装包，如果网络抖动则不会成功。 1.2 rpm 部署 优点：官网推荐的，部署还算比较简单。 缺点：部署 Server、Agent rpm 时候需要网络下载依赖包。 1.3 tar 部署 真正的离线部署，本次部署就是采用 tar 部署。 2
CDH 5.16.1集群环境搭建
Marsm的博客
12-20 617
CDH 5.16.1集群环境搭建 集群节点 192.168.10.1 hadoop01 235G+4T 192.168.10.2 hadoop02 235G+4T 192.168.10.3 hadoop03 235G+4T 192.168.10.4 hadoop04 235G+4T 集群节点初始化 1.配置节点hosts 192.168.10.1 hadoop01.office.gdapi....
离线搭建CDH5.16.1大数据平台
weixin_42570350的博客
01-08 3137
市场上免费大数据框架主要有三个版本，原生的Apache版本，Cloudera公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH版本（最新6.1），也是市场上使用最多的，Hortonworks版本（Hortonworks Data Platform，简称“HDP”） Cloudera Manager相关介绍 cloudera公司开源大数据框架 管理集群的 ...
CM+CDH5.16.1 平台搭建（一）
GIS摆渡人
12-21 371
鉴于在Ambari2.7+HDP3.0使用过程中有很多不方便之处，所以还是决定选择CDH框架来做。我是准备了4台虚拟机来搭这个环境。 一、集群规划 1.2 机器准备 hostname 内网IP 功能 内存 核数 磁盘 cm.cdh.com 192.168.32.180 CM和CDH安装 16G 4 200G master.c...
05.HADOOP CDH5.16.1 详细搭建流程
weixin_42210772的博客
08-01 508
CDH 相对于原生的HADOOP 平台具有更好的可操作性，通过页面就行控制，方便安装和管理，还可以对整个集群进行参数的调整等等。 在此也要感谢 马尔东风https://blog.csdn.net/qq_39572733/article/details/89469741给到的帮助。 在这里我使用了 CDH5.16.1 版本 ，那么与其对应的 软件包也需要相应下载。 1.安装前的准备工作 ...
搭建 cdh5.16.1 的步骤
u010985535的博客
09-09 192
搭建 cdh5.16.1 的步骤 1.设置 hosts 文件 /etc/hosts #example 172.16.28.110 CDH04 172.16.28.111 CDH03 172.16.28.112 CDH02 2.关闭所有节点的防火墙及清空规则 #查看防火墙状态 #systemctl status firewalld systemctl stop firewalld systemctl disable firewalld iptables -F 3.关闭所有节点的 selinux #查
CDH离线部署指南：ClouderaManager安装和配置
CDH离线部署文档 CDH离线部署文档是指使用ClouderaManager离线部署CDH的文档，该文档已经在生产环境中正常使用，安装方便，文档详细，适合生产使用。 一、CDH离线部署文档概述 CDH离线部署文档旨在指导用户使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值