CDH6.3集群部署--研发环境安装实录

最新推荐文章于 2024-05-23 17:22:29 发布
最新推荐文章于 2024-05-23 17:22:29 发布
阅读量6.1k 收藏 28
点赞数 8
分类专栏： Hadoop 文章标签： CDH6.3部署 CDH集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/100923644
版权

文章目录


官网文档

一、主机

服务器的运行内存还是不要太小，很多服务例如 Impala、Spark 特别吃内存。如果上线生产环境，推荐 128G 保底。

主机IP内存硬盘
master192.168.0.3116G500G
tools192.168.0.3216G500G
gateway192.168.0.3316G500G
worker192.168.0.3416G500G

主机角色划分

  • master

安装例如 HDFS 的 NameNode、Hbase 的 Master server、YARN 的 ResourceManager 等比较重要的组件。

  • tools

安装例如CM、Hue、Sqoop等工具辅助类组件。

  • gateway

安装例如 HDFS 的 JournalNode、Hbase 的 HBase REST Server 等集群间通讯类组件。

  • worker

安装例如 HDFS 的 DataNode、Hbase 的 RegionServer、Kudu 的 tablet 等用来存储数据的工作组件。

二、准备安装包

2.1 MySQL 5.7.27

mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar

2.2 MySQL驱动

mysql-connector-java-5.1.47.tar.gz

2.3 cloudera-manager包

cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm
cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm
cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm
enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
allkeys.asc

2.4 parcel数据包

CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel
manifest.json

其他版本下载地址：https://archive.cloudera.com/cdh6/

2.5 目录树

将这些安装包上传到 tools 主机上

[root@localhost ~]# tree -C cloudera/
cloudera/
├── cloudera-manager
│   ├── allkeys.asc
│   ├── cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm
│   ├── cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm
│   ├── cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm
│   ├── cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm
│   ├── enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm
│   └── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
├── mysql
│   └── mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar
├── mysql-jdbc
│   └── mysql-connector-java-5.1.47.tar.gz
└── parcel
    ├── CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel
    └── manifest.json

4 directories, 11 files

三、初始化主机环境

先安装一些基本工具

yum install -y vim wget ntp net-tools

3.1 设置主机名

给四台主机分别设置主机名

hostnamectl set-hostname master.cdh
hostnamectl set-hostname tools.cdh
hostnamectl set-hostname gateway.cdh
hostnamectl set-hostname worker.cdh

每台主机修改 /etc/hosts 文件，追加

192.168.0.31 master.cdh
192.168.0.32 tools.cdh
192.168.0.33 gateway.cdh
192.168.0.34 worker.cdh

修改每台主机的 /etc/sysconfig/network 文件，分别追加

HOSTNAME=master.cdh

HOSTNAME=tools.cdh

HOSTNAME=gateway.cdh

HOSTNAME=worker.cdh

使用 uname -a && hostname 命令查看主机名

3.2 关闭防火墙和Selinux

每台主机关闭防火墙

systemctl stop firewalld \
&& systemctl disable firewalld \
&& systemctl status firewalld

每台主机关闭Selinux

setenforce 0 #临时关闭
vim /etc/selinux/config #永久关闭
# SELINUX=enforcing 改成 SELINUX=permissive
getenforce #查看状态为Permissive

3.3 启动NTP服务

关闭 chrony 服务，该服务会影响到NTP服务的开机启动

systemctl stop chronyd && systemctl disable chronyd

设置NTP服务

vim /etc/ntp.conf
# 将时钟服务器更改为如下4个
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org	
server 3.cn.pool.ntp.org

启动时间同步服务器

systemctl start ntpd \
&& systemctl enable ntpd \
&& ntpdate -u 0.cn.pool.ntp.org \
&& hwclock --systohc \
&& date

四、安装

在 tools 主机上操作

4.1 搭建本地yum源

yum -y install httpd createrepo \
&& systemctl start httpd \
&& systemctl enable httpd \
&& cd /root/cloudera/cloudera-manager/ \
&& createrepo . \
&& mv /root/cloudera/cloudera-manager/ /var/www/html/

访问：http://192.168.0.32/cloudera-manager/

4.2 安装jdk

cd /var/www/html/cloudera-manager/;rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

4.3 安装MySQL

卸载自带的 mariadb

yum -y remove mariadb-libs

解压下载的 MySQL 包

cd /root/cloudera/mysql/;tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar

安装 MySQL

yum install -y libaio \
&& rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-libs-compat-5.7.27-1.el7.x86_64.rpm

配置 my.cnf

echo character-set-server=utf8 >> /etc/my.cnf

数据库授权

(
cat <<EOF
set password for root@localhost = password('123456Aa.');
grant all privileges on *.* to 'root'@'%' identified by '123456Aa.';
flush privileges;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456Aa.';
SHOW DATABASES;
EOF
) >> /root/c.sql

启动 MySQL

systemctl enable mysqld && systemctl start mysqld && grep password /var/log/mysqld.log | sed 's/.*\(............\)$/\1/'

执行脚本

[root@tools ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.27

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> source /root/c.sql
Query OK, 0 rows affected, 1 warning (0.00 sec)

配置 mysql jdbc 驱动

mkdir -p /usr/share/java/ \
&& cd /root/cloudera/mysql-jdbc/;tar -zxvf mysql-connector-java-5.1.47.tar.gz \
&& cp /root/cloudera/mysql-jdbc/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar

4.4 安装Cloudera Manager

tools 主机配置本地 yum 源

(
cat <<EOF
[cloudera-manager]
name=Cloudera Manager 6.3.0
baseurl=http://192.168.0.32/cloudera-manager/
gpgcheck=0
enabled=1
EOF
) >> /etc/yum.repos.d/cloudera-manager.repo \
&& yum clean all \
&& yum makecache

安装 Cloudera Manager

yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

4.5 配置本地Parcel存储库

mv /root/cloudera/parcel/* /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo/
sha1sum CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel | awk '{ print $1 }' > CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

4.6 初始化scm库

执行 scm_prepare_database.sh 脚本

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456Aa.

4.7 启动CM

systemctl start cloudera-scm-server \
&& sleep 2 \
&& tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"

出现INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server则启动成功
访问 http://192.168.0.32:7180
账号密码为 admin/admin

五、初始化CM

欢迎界面，下一步
在这里插入图片描述
用户许可，同意，下一步
在这里插入图片描述
选择试用版60天到期，不用白不用，下一步
在这里插入图片描述
欢迎界面，下一步
在这里插入图片描述
设置集群名称，下一步
在这里插入图片描述
选择网络中的主机，下一步
在这里插入图片描述
输入本地 yum 源地址，下一步
在这里插入图片描述
同意 jdk 使用许可，下一步
在这里插入图片描述
输入其他主机密码，下一步
在这里插入图片描述
每台主机安装 agent，安装完毕，下一步
在这里插入图片描述
安装 Parcels 包，安装完毕，下一步
在这里插入图片描述
主机健康检查，下一步，报错解决方法 https://blog.csdn.net/qq_39680564/article/details/100013275
在这里插入图片描述
选择安装的服务，下一步
在这里插入图片描述
自行分配角色至主机，下一步
在这里插入图片描述
测试数据库链接，下一步
在这里插入图片描述
配置实例的安装位置，数据目录尽量安装在大的分区下
在这里插入图片描述
安装服务，下一步
在这里插入图片描述
安装完成
在这里插入图片描述
在这里插入图片描述

六、后续优化

Hive设置：https://blog.csdn.net/qq_39680564/article/details/101015864
Spark设置：https://blog.csdn.net/qq_39680564/article/details/101209640
root权限：https://blog.csdn.net/qq_39680564/article/details/101216414

刘李404not found
关注
  • 8
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
专栏目录
Cloudera CDH6.3.0集群安装与部署，集成hbase，集成spark
a515381937的博客
12-29 1150
CDH6.3.0集群安装与部署 1.1.修改机器名（所有节点） 修改机器名称，这种方式，在Centos7中可以永久性改变主机名称。 #hostnamectl set-hostname xxx //设置机器名 #hostname // 查看本机名 每个节点机器，都要配置hosts #vi /etc/hosts 内容都改为： 127.0.0.1 localhost //建议保留此行 192.168.144.*** hadoopm 192.168.144.*** hadoopf 1.2.设置防火墙（所有
CDH6.3.0 rpm安装包大全 离线下载地址
05-02
cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个目录 包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera rpm包
南修子学Hbase-CDH6.3.0 配置Hbase和MapReduce的集成
huangrunxing的专栏
03-29 176
以下命令每台机器都要执行 vim /etc/profile export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase export PATH=${HBASE_HOME}/bin:${PATH} 执行 source /etc/profile vim /etc/hadoop/conf/hadoop-env.sh export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:$HA
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2178
超级详细的cdh6.3.2安装部署教程
cdh 6.3 安装
qq_29623809的博客
09-22 504
cdh6.3 安装
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
Impala-cdh集群安装部署
09-18
本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
CDH 6.2.0 集群安装-v54-20200625_213559.pdf
06-25
大数据集群6.2.0离线搭建文档，精心一个星期进行实践编写，报错信息截图详解，报错信息及重要提示处理，离线安装。
cdh-5.7.1-安装部署-20171120.pdf
06-13
详细介绍CDH整个生态环境的安装配置，包括每个软件的安装及注意点
CDH 6.3.0 集成Flink 1.9.0
m0_37083172的博客
05-26 668
1.下载parcels到本地 https://archive.cloudera.com/csa/1.0.0.0/csd/ FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar https://archive.cloudera.com/csa/1.0.0.0/parcels/ FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha manifest.json
rancher搭建cdh6.2大数据平台
雷杨的博客
04-19 3519
基于rancher2.5.9方式进行搭建cdh6.2.0，前提你了解rancher,如不了解可自行百度，基于docker镜像，将cdh分为4个镜像包，分别是master、agent、mysql、ntpt,镜像基于centos7.9制作
Docker 搭建完全分布式CDH集群
secretWHD的博客
10-27 3598
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全分布式CDH集群的难点，这里将使用Dokcer Swarm网络解决了这个问题。 1. 拷贝安装包 将镜像安装包拷贝到各个节点 主节点拷贝 master-serv...
CDH 6.2.0 或 6.3.0 安装实战及官方文档资料链接
热门推荐
Yore - Home
06-17 1万+
本文主要根据多次的CDH安装和使用经验，总结了CDH 6.x（主要以CDH 6.2.0和CDH 6.3.0）版本为主。包括预期相关的各种环境的安装和应注意的事项，以及出现的问题的解决方法，比如NTP的安装、MySQL的安装、Host设置应注意的问题、分配给自己的机器root的密码在不允许更改的条件下如何安装、Open JDK版本问题、时区问题、旧环境清理问题（也适用于重装CDH），元数据库密码问题、MySQL驱动问题，等等。最后有介绍了 api 方式管理 CDH 集群，及 HBase 数据迁移备份及恢复
绝对实用-Docker单节点和跨服务搭建CDH6.3.2集群
secretWHD的博客
09-15 2330
前言 承蒙朋友的关照，让我在短时间内从零学会安装使用CDH和Docker，并将其融会贯通，完成Docker搭建CDH集群的工作。在这我也将整个安装流程和心得，尽可能详细的阐述清楚，让各位在安装搭建之路上，少走弯路，理清思路。 本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS 7，CDH6.3 ，MySQL5.7 ，JDK1.8 等。 根据Docker特性和CDH的安装流程，按如下图进行操作：大概流程就是制作...
CDH6.3.*离线安装
shoufeng
12-11 3748
安装之前准备： 安装环境：三台centos7虚拟机：分别为node1（16g内存）、node2（4g内存）、node3（4g内存） 两个极有帮助的脚本 集群同步脚本 1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@node1 ~]$ mkdir bin [root@node1 ~]$ cd bin/ [root@node1 bin]$ vi x...
CDH6.3.1 集群离线部署（若泽大数据）
浅汐入梦的博客
05-09 1831
参考了很多文章，中间报了很多错，一步一坑...... 视频链接：https://www.bilibili.com/video/BV1YE41117xM?spm_id_from=333.337.search-card.all.click
CDH 6.3部署Anaconda3-4.4.0
07-28
您好！要在CDH 6.3上部署Anaconda3-4.4.0，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了CDH 6.3并且系统已经启动。 2. 在CDH节点上下载Anaconda3-4.4.0的安装包。您可以从Anaconda官方网站下载适合您系统的安装包。 3. 将安装包传输到CDH节点上。您可以使用scp命令将安装包从本地传输到CDH节点。 示例命令：`scp /path/to/anaconda3-4.4.0.tar.gz user@cdh_node:/path/to/destination` 4. 在CDH节点上解压安装包。您可以使用以下命令解压： `tar -xvf anaconda3-4.4.0.tar.gz` 5. 创建一个新的Anaconda环境。使用以下命令： `conda create --name myenv python=3.6` 这将创建一个名为myenv的新环境，并使用Python 3.6。 6. 激活新环境。使用以下命令： `source activate myenv` 7. 完成后，您现在可以在CDH节点上使用Anaconda环境进行开发和执行Python代码了。 希望这些步骤对您有帮助！如果您有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值