CDH6.2.0详细安装步骤

已于 2023-03-28 17:01:01 修改
阅读量7w 收藏 49
点赞数 10
文章标签： CDH 大数据
于 2021-07-19 13:41:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43909382/article/details/118797590
版权

CDH6.2.0版本安装指南

1. 准备集群
本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。

ip名称内存
xxx.xx.x.169node16916G
xxx.xx.x.170node17016G
xxx.xx.x.171node17116G

2.安装JDK（3台）
百度网盘 链接：https://pan.baidu.com/s/1eR-ZAZNLBZwSLgUSmmlfEQ
提取码：95yu
2.1 创建目录：mkdir /software/
在这里插入图片描述
2.2 将上面下载的JDK压缩包放入该目录下
2.3 解压：tar -zxvf jdk-8u131-linux-x64.tar.gz
2.4 将文件夹名称修改为：jdk1.8
2.5 修改系统配置：vi /etc/profile 添加如下配置
在这里插入图片描述
2.6 刷新系统配置：source /etc/profile
2.7 查看是否成功 javac -version java -version
在这里插入图片描述
3.安装NTP（3台）
3.1 yum install -y ntp
3.2 修改主节点的ntp.conf 配置文件，添加红框的内容
vi /etc/ntp.conf

在这里插入图片描述

从节点只需要添加主节点的ip
在这里插入图片描述

3.3 三个节点修改：vi /etc/sysconfig/ntpd，加上 SYNC_CLOCK=yes
在这里插入图片描述
3.4 启动ntp 服务

systemctl start ntpd.service
systemctl enable ntpd.service
systemctl status ntpd.service

在这里插入图片描述
4.修改系统参数

 sysctl vm.swappiness=10
 echo 'vm.swappiness=10' >> /etc/sysctl.conf
 echo never > /sys/kernel/mm/transparent_hugepage/defrag
 echo never > /sys/kernel/mm/transparent_hugepage/enabled
 echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local
 echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

5. 安装httpd

yum -y install httpd
systemctl start httpd 
systemctl status httpd

直接用ip地址登录，验证一下，出现下面这个页面即为安装成功
在这里插入图片描述
6.下载第三方依赖包

yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

7.安装Mysql
7.1 首先查看自己的集群中是否安装了mysql数据库

 rpm -qa | grep mysql

在这里插入图片描述

如果安装了，可以通过 yum -y remove mysql 进行卸载（这里的mysql就是上面命令的运行结果）

7.2 Mysql5.7的rpm包下载地址(阿里云盘速度更快哦)：
阿里云盘：https://www.aliyundrive.com/s/p8H3DCYK6Uf
百度网盘：https://pan.baidu.com/s/1NFSrYgeYpHKJMGlss2XiFA
提取码：zo2o
下载完成后上传至主机对应位置
在这里插入图片描述
7.3 依次执行以下6个命令进行安装

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

7.4 启动mysql

systemctl start mysqld

7.5 设置mysql开机自启

systemctl enable mysqld

7.6 安装成功后，首先将数据库设置成无密码状态，修改配置

   vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态
在这里插入图片描述
7.7 重启mysql服务器，使配置生效

systemctl restart mysqld

7.8 进入数据库
mysql -u root -p 按enter 键进入，使用mysql数据库
在这里插入图片描述
7.9 修改mysql的登录密码为：123456

update user set authentication_string=password("123456") where user='root';

在这里插入图片描述
如果有报错或者后面使用密码登录有下面的报错的话：

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

就执行以下命令：

mysql> set global validate_password_policy =0;
Query OK, 0 rows affected (0.04 sec)

mysql> set global validate_password_length = 6;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;

7.10 创建相关数据库

create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';

7.11 对数据库进行授权

mysql> update user set host='%' where user = 'root'; 
mysql> flush privileges;

7.12 设置允许外网访问mysql
之前上面的步骤关闭了防火墙，先打开

systemctl start firewalld
firewall-cmd --list-all

在这里插入图片描述
查看3306端口是否开放：firewall-cmd --query-port=3306/tcp
在这里插入图片描述no表示未开放，我们需要开放3306端口：firewall-cmd --permanent --add-port=3306/tcp ，重启防火墙： systemctl restart firewalld
再次查看3306端口是否开放：firewall-cmd --query-port=3306/tcp、firewall-cmd --list-all

在这里插入图片描述
7.13 上传mysql-connector-java-5.1.39 jar包
阿里云盘：https://www.aliyundrive.com/s/aLXcNfH6rZq
百度网盘：https://pan.baidu.com/s/1aV3_jmS6Souc0JUxPnG1Kg
提取码：a7zb
在三台虚拟机执行以下命令：

  1. mkdir /usr/share/java
  2. 将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
  3. mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
    在这里插入图片描述

8.CM组件安装
阿里云盘：https://www.aliyundrive.com/s/HhwYhr3WFMH
百度网盘：https://pan.baidu.com/s/1S_vyC4NLzue2Oj1JT2rd7Q
提取码：tgv2
8.1 node169 上传全部的包，node170、node171 集群只上传 agent 和 daemons 的rpm包
在这里插入图片描述在这里插入图片描述
8.2 node169执行

yum install -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

node170、node171执行

yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

9. 安装CDH6.2.0
9.1 下载安装包并上传安装包至主节点node169
百度网盘（阿里云盘限制了文件类型…）
链接：https://pan.baidu.com/s/1S1CawZa6I6lZnteuORVjwg
提取码：uy4k
在这里插入图片描述
9.2 将上传的资源移动到相应的目录下

mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/
mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/
mv PHOENIX-1.0.jar /opt/cloudera/csd/

进入到/opt/cloudera/parcel-repo/ 目录下，验证文件上传是否正确
在这里插入图片描述两次的值都一样说明上传正确

9.3 node169修改配置文件，下面红框位置的内容

vi /etc/cloudera-scm-server/db.properties

在这里插入图片描述
9.4 node169、node170、node171修改配置文件，下面红框位置的内容(node170和node171上面的server_host也是node169)

vi /etc/cloudera-scm-agent/config.ini

在这里插入图片描述
10. 启动CM
10.1 关闭所有集群节点的防火墙

systemctl stop firewalld
systemctl disable firewalld

10.2 在node169上启动server和agent

systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent

查看server日志有没有报错

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

如果报错如下：
在这里插入图片描述
而且没有任何更多的日志，包括/var/log/cloudera-scm-server/目录也没有任何文件，可以通过 命令journalctl -xe 查找报错日志，如果提示JAVA_HOME找不到的话，使用下面的命令即可：

mkdir -p /usr/java
ln -s /software/jdk1.8/  /usr/java/default

再执行 systemctl start cloudera-scm-server 重新启动。

10.3 在node170和node171上启动agent

systemctl start cloudera-scm-agent

11. 开始安装CDH集群
输入IP:7180登录页面，用户名密码都是 admin
在这里插入图片描述
点击继续
在这里插入图片描述
选择第一个，点击继续
在这里插入图片描述
点击继续
在这里插入图片描述
给集群起个名称，点击继续
在这里插入图片描述
选择当前管理的主机，三台都勾选
在这里插入图片描述
一直下一步，这里选择自定义服务
在这里插入图片描述
先安装一个zookeeper
在这里插入图片描述
Activity Monitor 选择的是node169节点，server 三个节点都选上
在这里插入图片描述
数据库之前是装在node169上，数据库选择amon，用户名root，密码123456，选择测试连接，通过后一直点击下一步，直到完成。
在这里插入图片描述
在这里插入图片描述
至此，CDH集群就已安装成功，这里再提供一个安装Hive的例子：

在这里插入图片描述
选择Hive，点击继续
在这里插入图片描述
HiveServer2选择三个节点，点击继续
在这里插入图片描述
数据库选择hive，测试连接，通过后点击继续
在这里插入图片描述
不用修改，点击继续，等待添加完成
在这里插入图片描述
其他服务根据需要自行添加即可，如有疑问，欢迎评论区交流。

此木Y
关注
  • 10
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
CDH6.2.0安装详细步骤.docx
07-24
该资源用于CDH6.2.0的本地安装。 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的...
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
CDH6.2 版本安装过程
DZH的博客
04-14 242
update user set authentication_string = password('密码'), password_expired = 'N',update mysql.user set authentication_string=password('密码') where user='root';update mysql.user set authentication_string=password('密码') where user='root';11、安装配置mysql。
大数据平台 CDH6.2.1 搭建
qq_36306519的博客
04-26 1779
大数据平台 CDH6.2.1 搭建
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1038
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
CDH6.2.0完整安装包网盘下载地址
03-15
CDH6.2.0全安装包,包含以下内容： 本人亲自安装测试通过后整理的的cdh6.2.0离线安装教程 cdh6.2.0安装部署教程.txt mysql-connector-java-5.1.47.tar.gz mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm RPM-GPG-KEY-cloudera docker-engine-1.7.1-1.el6.x86_64.rpm allkeys.asc oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm cloudera-ma
CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）
This is Yunis's blog!
08-22 3340
CDH6.2.0+Sentry+Kerberos安装过程记录文档 一、准备工作 1、本文环境 名称 CentOS JDK MySQL CM CDH 版本 7.9 1.8 5.7 6.2.0 6.2.0 2、集群规划 IP 主机名 角色 安装服务 内存 处理器 192.168.198.11 dtb-tc-app11 Master cloudera-scm-servercloudera-scm-agent 6G 4 192.168.198.12 dtb-tc-app12
Cloudera-manager搭建安装集群CDH6.2.0
qq_36306519的博客
04-27 680
Cloudera-manager搭建安装集群CDH6.2.0
CentOS7安装CDH6.2.0安装过程--详细版
Alex的博客
11-19 1553
准备 建议最少4台物理机或者虚拟机（一个控制节点，3个数据节点），4核16G，硬盘500G，挂载根目录 如果用于学习，可以4核8G，如果是生产部署，推荐8核32G以上 系统为CentOS7.6，使用root用户登录 CDH版本为6.2.0 节点说明规划： cdh1 主节点 cdh2 从节点 cdh3 从节点 cdh4 从节点 基础配置 挂载磁盘操作请参考这篇文章 ： https://blog.csdn.net/Alex_81D/article/details/10504...
phoenix-parcel-5.0.0-cdh6.2.0-el7安装包
08-03
5. **安装步骤**：首先，需要将phoenix-parcel-5.0.0-cdh6.2.0-el7包上传到Cloudera Manager的Parcel目录，然后通过Cloudera Manager界面进行分配、下载和激活。接着，重启相关服务以加载新的配置和库。 6. **使用...
Centos7.6自动化安装CDH6.2.0脚本.docx
08-06
【CentOS7.6自动化安装CDH6.2.0脚本详解】 自动化安装脚本在IT运维领域中是提高效率的重要工具，特别是在大规模集群环境中，例如安装Cloudera Data Hub (CDH)。CDH是一款开源的大数据平台，包含了Hadoop、HBase、...
centos 7.9下RPM包部署CDH6.2.0安装（多次安装，绝对无坑）
03-01
在本文中，我们将深入探讨如何在 CentOS 7.9 环境下，通过 RPM 包部署 CDH6.2.0，确保安装过程顺利，避免常见问题。CDH（Cloudera Distribution Including Apache Hadoop）是 Cloudera 提供的一个全面的大数据处理...
大数据平台CDH6.2.0客户端安装手册
qq_45360515的博客
11-09 1529
CDH6.2.0集群客户端安装手册
CDH6.2.0安装教程
qq_27883617的博客
06-01 977
CDH6.2.0安装 记一次CDH6.2.0环境搭建，废话不多说，直接上CDH环境搭建步骤 1.硬件准备 建议最少4台物理机或者虚拟机（一个master，3个node），4核16G 如果用来学习，建议可以4核8G 如果是生产部署，推荐8核32G以上 2.主机规划 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200531235541135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow
Centos7.3安装CDH6.0.1
L, there!
06-27 1312
CDH6.0以上版本安装都适用，已经成功搭建CDH6.0.1和6.2企业级平台。 版本 类型 版本 下载 Linux Centos7.3 CDH CDH6.0.1 CM官方下载 CDH官方下载 JDK jdk-8u211 网盘下载 数据库 MySQL5.7.27 官方下载 JDBC mysql-c...
CDH6.2.0搭建（史上最全的安装教程）
热门推荐
逆流而上Mr李
05-08 1万+
1 集群准备 1 首先准备三台虚拟机，虚拟机ip地址可以ping通。 ip 名称 192.168.63.131 cdh1 192.168.63.132 cdh2 192.168.63.133 cdh3 2 系统环境准备 在三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭 ...
CDH常用安装包
不务正业的猿
08-26 1842
目录 CDH 6.0.1 redhat7/Centos7 x86_64 CDH 6.0.1 redhat6/Centos6 x86_64 CDH 6.1.1 redhat7/Centos7 x86_64 CDH 6.1.1 redhat6/Centos6 x86_64 CDH 6.2.0 redhat7/Centos7 x86_64 CDH 6.2.0 redhat6/Centos6 x86_64 CDH 6.3.0 redhat7/Centos7 x86_64 CDH 6.3.0 r.
CDH6.2.0离线安装（详细）
Bingmous的博客
12-29 5966
环境准备 静态IP /etc/hosts 关闭防火墙，禁用，所有节点 修改selinux，vim /etc/selinux/config —> SELINUX=disabled (修改)，所有节点 配置免密登录，ssh-keygen -t rsa，然后ssh-copy-id 自己主机，然后将.ssh拷贝到所有节点，这样就实现了互相通信 配置ntp服务，时间同步，所有节点 修改linux swappiness参数，所有节点 ## 查找包含的所在文件路径 grep "vm.swappine
cdh6.2.0 删除监控数据后 service monitor时发生内部错误
12-30
在CDH 6.2.0版本中，当删除监控数据后再次启动Service Monitor时出现内部错误可能是由于删除监控数据后导致系统无法正确识别或访问相关数据而引起的。此问题可能需要进行一些操作和调整来解决。 首先，我们可以尝试重新启动整个CDH集群，并确保监控数据删除成功地重新加载到系统中。在重新启动之前，可以尝试清理和重置一些缓存或数据存储以确保系统在重新加载数据时不受影响。 其次，可以尝试查看CDH集群的日志和错误报告，以了解具体的错误信息和发生问题的根本原因。根据错误信息，可以进一步采取相应的措施来解决问题。 另外，我们还可以尝试升级或更新CDH集群的相关组件或版本，以解决可能由旧版本或不兼容的组件导致的问题。在升级或更新之前，建议备份相关数据和配置，以防意外情况发生。 最后，如果以上方法都无法解决问题，建议联系CDH集群的技术支持团队或厂商进行进一步的咨询和支持。他们可以针对具体的情况提供定制化的解决方案和支持，以帮助解决Service Monitor时发生的内部错误问题。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值