CDH6.3.1集群企业真正离线部署

最新推荐文章于 2023-08-23 13:34:46 发布
最新推荐文章于 2023-08-23 13:34:46 发布
阅读量809 收藏 1
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36417221/article/details/105705316
版权

⼀.准备⼯作

1.离线部署主要分为三块:
a.MySQL离线部署
b.CM离线部署
c.Parcel⽂件离线源部署

2.规划:

节点MySQL部署组件Parcel⽂件离线源CM服务进程⼤数据组件
master01MySQLParcelActivity MonitorNN RM DN NM
node01Alert Publisher Event ServerDN NM
node02Host Monitor Service MonitorDN NM

3.下载源:
⽀持的版本⭐: requirements supported versions

⼆.集群节点初始化

CentOS7.2操作系统，2核16G最低配置(8G 勉强也可以)

当前笔记本或台式机配置hosts⽂件

公⽹地址 机器名称: 
47.74.130.251 master01 
161.117.1.169 node01 
47.88.170.121 node02

设置所有节点的hosts⽂件

私有地址(内⽹地址) 机器名称:
echo "172.21.230.214 master01">> /etc/hosts
echo "172.21.230.216 node01">> /etc/hosts
echo "172.21.230.215 node02">> /etc/hosts

关闭所有节点的防⽕墙及清空规则

systemctl stop firewalld 
systemctl disable firewalld
iptables -F

关闭所有节点的selinux

vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled 
设置后需要重启才能⽣效

设置所有节点的时区⼀致及时钟同步

6.1.时区
[root@master01 ~]# date
Wed Oct 23 13:51:31 CST 2019
[root@master01 ~]# timedatectl
 Local time: Wed 2019-10-23 13:51:49 CST
 Universal time: Wed 2019-10-23 05:51:49 UTC
 RTC time: Wed 2019-10-23 13:51:49
 Time zone: Asia/Shanghai (CST, +0800)
 NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: yes
 DST active: n/a
#查看命令帮助，学习⾄关重要，⽆需百度，太
[root@master01 ~]# timedatectl --help
timedatectl [OPTIONS...] COMMAND ...
Query or change system time and date settings.
 -h --help Show this help message
 --version Show package version
 --no-pager Do not pipe output into a pager
 --no-ask-password Do not prompt for password
 -H --host=[USER@]HOST Operate on remote host
 -M --machine=CONTAINER Operate on local container
 --adjust-system-clock Adjust system clock when changing local RTC mode
Commands:
 status Show current time settings
 set-time TIME Set system time
 set-timezone ZONE Set system time zone
 list-timezones Show known time zones
 set-local-rtc BOOL Control whether RTC is in local time
 set-ntp BOOL Control whether NTP is enabled
#查看哪些时区
[root@master01 ~]# timedatectl list-timezones
Africa/Abidjan
Africa/Accra
Africa/Addis_Ababa
Africa/Algiers
Africa/Asmara
Africa/Bamako
#所有节点设置亚洲上海时区
[root@master01 ~]# timedatectl set-timezone Asia/Shanghai
[root@node01 ~]# timedatectl set-timezone Asia/Shanghai
[root@node02 ~]# timedatectl set-timezone Asia/Shanghai
6.2.时间
#所有节点安装ntp
[root@master01 ~]# yum install -y ntp
#选取ruozedata001为ntp的主节点
[root@master01 ~]# vi /etc/ntp.conf 
#time
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#当外部时间不可⽤时，可使⽤本地硬件时间
server 127.127.1.0 iburst local clock 
#允许哪些⽹段的机器来同步时间
restrict 172.21.230.0 mask 255.255.255.0 nomodify notrap
#开启ntpd及查看状态
[root@master01 ~]# systemctl start ntpd
[root@master01 ~]# systemctl status ntpd
● ntpd.service - Network Time Service
 Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendor preset: d
isabled)
 Active: active (running) since Sat 2019-05-11 10:15:00 CST; 11min ago
 Main PID: 18518 (ntpd)
 CGroup: /system.slice/ntpd.service
 !"18518 /usr/sbin/ntpd -u ntp:ntp -g
May 11 10:15:00 master01 systemd[1]: Starting Network Time Service...
May 11 10:15:00 master01 ntpd[18518]: proto: precision = 0.088 usec
May 11 10:15:00 master01 ntpd[18518]: 0.0.0.0 c01d 0d kern kernel time sync en
abled
May 11 10:15:00 master01 systemd[1]: Started Network Time Service.
#验证
[root@master01 ~]# ntpq -p
 remote refid st t when poll reach delay offset jitter
 LOCAL(0) .LOCL. 10 l 726 64 0 0.000 0.000 0.000
#其他从节点停⽌禁⽤ntpd服务
[root@node01 ~]# systemctl stop ntpd
[root@node01 ~]# systemctl disable ntpd
Removed symlink /etc/systemd/system/multi-user.target.wants/ntpd.service.
[root@node01 ~]# /usr/sbin/ntpdate master01
11 May 10:29:22 ntpdate[9370]: adjust time server 172.19.7.96 offset 0.000867 sec
#每天凌晨同步master01节点时间
[root@node01 ~]# crontab -e
00 00 * * * /usr/sbin/ntpdate master01 
[root@node02 ~]# systemctl stop ntpd
[root@hadoop004 ~]# systemctl disable ntpd
Removed symlink /etc/systemd/system/multi-user.target.wants/ntpd.service.
[root@hadoop005 ~]# /usr/sbin/ntpdate master01
11 May 10:29:22 ntpdate[9370]: adjust time server 172.19.7.96 offset 0.000867 sec
#每天凌晨同步ruozedata001节点时间
[root@node02 ~]# crontab -e
00 00 * * * /usr/sbin/ntpdate master01

每个节点部署JDK

mkdir /usr/java
tar -xzvf jdk-8u181-linux-x64.gz -C /usr/java/
#切记必须修正所属⽤户及⽤户组
chown -R root:root /usr/java/jdk1.8.0_181
echo "export JAVA_HOME=/usr/java/jdk1.8.0_181" >> /etc/profile
echo "export PATH=/usr/java/jdk1.8.0_181/bin:${PATH}" >> /etc/profile
source /etc/profile
which java

master01节点离线部署MySQL5.7(假如觉得困难哟，就⾃⾏选择RPM部署)

⽂档链接:https://github.com/Hackeruncle/MySQL
视频链接:https://pan.baidu.com/s/1jdM8WeIg8syU0evL1-tDOQ 密码:whic

部署完成后，登录:

master01:mysqladmin:/usr/local/mysql/data:>mysql -uroot -pruozedata
mysql>

创建CDH的元数据库和⽤户、amon服务的数据库及⽤户

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;

master01节点部署mysql jdbc jar

mkdir -p /usr/share/java/
重命名不能带版本号
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

三.CDH部署

离线部署cm server及agent

1.1.所有节点创建⽬录及解压
mkdir /opt/cloudera-manager
tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
1.2.选择ruozedata001为cm server，不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
1.3.所有节点(包含ruozedata001)为cm agent，不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
1.4.所有节点修改agent的配置，指向server的节点ruozedata001
sed -i "s/server_host=localhost/server_host=ruozedata001/g" /etc/cloudera-scm-agen
t/config.ini
1.5.主节点修改server的配置:
vi /etc/cloudera-scm-server/db.properties 
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=master01
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL

master01节点部署离线parcel源

2.1.安装httpd服务
yum install -y httpd
2.2.部署离线parcel源
$ mkdir -p /var/www/html/cdh6_parcel
[root@master01 CDH6.3.1]# cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/
www/html/cdh6_parcel/
[root@master01 CDH6.3.1]# mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /
var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
[root@master01 CDH6.3.1]# mv manifest.json /var/www/html/cdh6_parcel/
$ ll
total 3081664
-rw-r--r-- 1 root root 2083878000 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7
.parcel
-rw-r--r-- 1 root root 40 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7
.parcel.sha1
-rw-r--r-- 1 root root 1411444147 Oct 23 13:43 cm6.3.1-redhat7.tar.gz
-rw-r--r-- 1 root root 173271626 Oct 23 13:43 jdk-8u45-linux-x64.gz
-rw-r--r-- 1 root root 33887 Oct 23 13:43 manifest.json
-rw-r--r-- 1 root root 548193637 Oct 23 13:42 mysql-5.7.11-linux-glibc2.5-x86_64.
tar.gz
-rw-r--r-- 1 root root 1007502 Sep 1 12:31 mysql-connector-java-5.1.47.jar
$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/
$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH
-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
$ mv manifest.json /var/www/html/cdh6_parcel/
sha1名称⽂件时，重命名去掉1，不然在部署过程CM认为如上⽂件下载未完整，会持续下载
2.3.启动httpd，window查看
systemctl start httpd

window/mac: http://ruozedata001/cdh6_parcel/ 查看是否可以访问

在这里插入图片描述
master01节点启动Server

3.1.启动server
systemctl start cloudera-scm-server
查看⽇志:
cd /var/log/cloudera-scm-server/
$ ll
total 20
-rw-r----- 1 cloudera-scm cloudera-scm 18265 Oct 23 15:37 cloudera-scm-server.log
-rw-r----- 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-nio.log
-rw-r----- 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-perf.log
$ tail -F cloudera-scm-server.log
有错误就根据错误解决，没有错误，等待1min，出现7180端⼝，表明是成功的。

在这里插入图片描述

  • 等待1min，打开 http://master01:7180 账号密码:admin/admin
  • 假如打不开，去看server的log，根据错误仔细排查错误

所有节点启动Agent

systemctl start cloudera-scm-agent

接下来，全部Web界⾯操作
http://master01:7180/
账号密码:admin/admin
在这里插入图片描述
欢迎使⽤Cloudera Manager–最终⽤户许可条款与条件。勾选
在这里插入图片描述

在这里插入图片描述
欢迎使⽤Cloudera Manager–您想要部署哪个版本？选择Cloudera Express免费版本
在这里插入图片描述
欢迎:在CM⾥添加⼀个集群
在这里插入图片描述

夙梦-小白
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH6.3.2离线安装部署下载
02-16
1、完整的CDH6.3.2离线安装包，包含CM6.3.1 2、离线安装部署文档
CDH6.3.1企业版安装详细步骤
java程序员的蜕变之路
12-03 865
0. 主机规划 虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent01 192.168.1.41 16 Core/32 GB/3 TB 192.168.1.203
CDH6.3.1 企业级真正离线部署 (踩坑+总结)
涵sir的博客
10-14 2500
前言 大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工部署，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户须自己解决组件间版本兼容问题；工具部署，比如Ambari或Cloudera Manger。（当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在
Cloudera Manager----CDH集群离线部署(CDH6.3.1 + CDH6.3.2 + CentOS7)
weixin_42073629的博客
03-14 296
转载https://blog.csdn.net/qq_40856560/article/details/109007683
Cloudera Manager6.3.1&CDH6.3.2集群部署（超详细，亲测可用）
矿泉水瓶子
01-11 1935
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
CDH5.16.1集群企业真正离线部署(全网最细，配套视频，生产可实践).pdf
10-22
CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业真正离线部署-全网最细，配套视频，生产可实践 CDH5.16.1集群企业...
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
05-19
CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤，包括环境准备、系统配置、Java 环境配置、SSH 无...
CDH6.3.1离线部署
09-23
CDH6.3.1版本离线部署，包含：集群初始化、JDK部署、MySQL离线部署、部署CM server和agent rpm
CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
06-01
博主CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1，仅仅限制安装博主文章中CDH-6.3.1-中使用
CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群
weixin_42774642的博客
04-26 509
CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群 本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。 说明：本文内容所有操作都是在root用户下进行的。 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好。 Cloudera Manager 6.3.0 CM6 RPM：https:/...
Cloudera Manager 6.3.0离线部署
猫影
09-16 1313
基础知识 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM 有免费版和企业版，免费版也可用于商用 而且基本够用了。安装后，基本面如下： 技术选型 尝试过ambari HDP 及自己...
CDH6.3.1 平台搭建
何以问_的博客
08-12 1096
自测–CDH6.3.1 搭建 (2核16G阿里云环境) 1.准备工作 1.1部署方式 本次测试采用离线部署的方式 : 主要分为三块 : Cloudera-Manager离线部署 MySQL离线部署 Parcel文件离线源部署 1.2集群规划 节点 MySQL部署组件 Parcel⽂文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002 Alert Publisher Eve
离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)
zhangbeizhen18的博客
10-31 2679
记录：303 场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 7011
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
cdh 6.3.2 离线部署
李晓蒙的博客
06-27 508
cdh 6.3.2 离线部署
HADOOP集群时间同步配置
Jackson_Father的博客
01-13 900
集群时间同不，如果联网就不建议同步
Centos7.9部署CDH6.3.2集群(离线版本)
飞鱼丶灬的博客
01-10 1658
https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation.html 一.CDH介绍 二.安装环境 1.系统说明 2.版本说明 CM 6.3.1，CDH 6.3.2 （6.3.3版本及以上的要收费了） 3.组件版本 4.安装包准备 (1)Cloudera Manger下载 cloudera-manager-server-6.3.1-1466458.el7.x86_64 cloudera-manager-agent-
CentOS7 离线安装部署 Cloudera Manager 6.3.1
蜗牛的博客
03-13 6678
一、CDH简介 二、安装前环境的部署 1、配置静态IP https://blog.csdn.net/u011374856/article/details/103602232 2、配置主机名跟IP地址映射 https://blog.csdn.net/u011374856/article/details/103310847 3、ssh免密码登录 https://blog.csdn....
CDH6.3.1离线安装难点
最新发布
06-25
6.3.1版本的离线安装可能会遇到一些挑战，特别是对于大型集群或网络不稳定的情况。以下是一些可能的难点： 1. 大文件下载：离线安装需要下载大量的软件包，如果网络环境不稳定或带宽有限，下载过程可能会非常耗时。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值