CDH6.2.0搭建教程

最新推荐文章于 2024-06-12 15:24:38 发布
置顶 最新推荐文章于 2024-06-12 15:24:38 发布
阅读量749 收藏 1
点赞数
分类专栏： 软件安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41979143/article/details/107850970
版权

1.集群准备

1 首先准备三台虚拟机，虚拟机ip地址可以ping通。

ip名称
192.168.25.120cdh1
192.168.25.121cdh2
192.168.25.122cdh3

2.修改IP和主机名

选择centos7来进行集群部署，克隆三台虚拟机 全部是在root 权限下执行

1.修改主机名

hostnamectl set-hostname cdh1

2 .修改IP地址

cd /etc/sysconfig/network-scripts/

vim ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=cdbe8b2a-8792-43cc-b66e-fe176a3803bd
DEVICE=ens33
ONBOOT=yes
DNS1=8.8.8.8
IPADDR=192.168.25.120
NETMASK=255.255.255.0
GATEWAY=192.168.25.2

重启网卡： service network restart

3.reboot 重启虚拟机

4.重新登录root 用户

查看IP地址和主机名是否更改成功

ifconfig

5.ping www.baidu.com 能否ping成功

6.Centos7 切换 yum 源

yum install lrzsz（rz上传 lz下载）
修改CentOS默认yum源为mirrors.aliyun.com
1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo

[root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、下载ailiyun的yum源配置文件到/etc/yum.repos.d/

[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

3、运行yum makecache生成缓存

yum makecache

yum -y update

7.其他两台主机重复上面操作。

3 系统环境搭建

三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭

1.修改Hosts 域名映射

vim /etc/hosts
192.168.25.120   cdh1
192.168.25.121   cdh2
192.168.25.122   cdh3

2.SSH免密登录

1.Linux下生成密钥
生成linux下的密钥要用到 ssh-keygen 命令，一般执行完这个命令公钥和私钥会生成到 .ssh 的隐藏目录。在执行这个命令之前我们先检查一下这个目录是否存在，因为有些linux如果没有这个目录的话是不会生成key的。

在这里插入图片描述

2.执行 ssh-keygen -t rsa 直接回车回车就OK

3.拷贝公钥到其他两台机器：

ssh-copy-id -i .ssh/id_rsa.pub root@192.168.25.121
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.25.122

3.防火墙关闭

yum  install -y lrzsz
yum install -y iptables-services
systemctl stop firewalld
systemctl disable firewalld

4.SELINUX 关闭

1 永久方法 – 需要重启服务器
修改/etc/selinux/config文件中设置
SELINUX=disabled
然后重启服务器。
2 临时方法 – 设置系统参数
使用命令 setenforce 0

5.JDK安装

 三台机器都装
 所有软件的安装路径
 mkdir -p /export/servers   
 所有软件压缩包的存放路径
 mkdir -p /export/softwares

上传jdk到/export/softwares路径下去，并解压

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

修改完成之后记得 source /etc/profile生效

javac -version 查看是否安装成功

vim /etc/profile

启动Jar

nohup java -jar ruoyi.jar ->log.file &

查看jar包进程

ps aux|grep xxx.jar
ps -ef | grep java

停止jar包
也就是杀死进程
找到jar的pid，杀掉命令为：

kill -9 pid
pkill 进程名

6 安装NTP

yum install -y ntp

（1）修改ntp.conf 配置文件 vi /etc/ntp.conf

（2）先注释 四个server 然后添加server主机ip

img

（3）

vi /etc/sysconfig/ntpd

img

（4） 启动ntp 服务

​

 systemctl start ntpd.service

 systemctl enable ntpd.service

 service ntpd status

img

7 修改系统参数

  sysctl vm.swappiness=10

  echo 'vm.swappiness=10' >> /etc/sysctl.conf

  echo never > /sys/kernel/mm/transparent_hugepage/defrag

  echo never > /sys/kernel/mm/transparent_hugepage/enabled

  echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local

  echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

img

8 安装httpd

yum -y install httpd

service httpd start 

service httpd status

直接用ip地址登录，验证一下

img

9 下载第三方依赖包

在root 权限下，选择三个窗口同时安装一下依赖包

img

yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

9 Mysql 安装

数据库只在cdh3 上面进行安装，将下面6个rpm包上传到集群中 rpm包自己百度云提取

链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw

上传集群截图如下：

img

（1） 首先查看自己的集群中是否安装mysql数据库

rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库

（2）要是安装了 通过 yum -y remove mysql 进行卸载

（3）依次安装6个rpm包 安装命令如下：

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force  
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force  
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force  
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force  
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force  
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

（4）启动mysql

 systemctl start mysqld

(5) 设置开机自启动mysql

 systemctl enable mysqld

(6) 安装成功后 首先将数据库设置成无密码状态，需要修改配置

 vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态（题外话 如果想要左边有行号 输入 :set nu 就可以显示 ）

img

（7） 重启mysql服务器，保证生效 systemctl restart mysqld

（8）进入数据库 mysql -u root -p 按enter 键进入

img

（9） 选择数据库 use mysql;

img

(10) 修改密码为123456 修改命令

update user set authentication_string=password("123456") where user='root';

img

（11、12） 刷新：flush privileges; 退出 quit;

img

(13) 在此进入数据库 ，并建几个数据库

mysql -u root -p 密码123456

use mysql; 会报错， 说让你重新设置密码

mysql> set password = PASSWORD(‘123456’);
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

这个其实与validate_password_policy的值有关。

执行下面命令 修改 即可

mysql> set global validate_password_policy =0;
Query OK, 0 rows affected (0.04 sec)

mysql> set global validate_password_length = 6;
Query OK, 0 rows affected (0.00 sec)

然后重新 执行命令
mysql>SET PASSWORD = PASSWORD(‘your new password’);

Query OK, 0 rows affected (0.00 sec)

2.ALTER USER ‘root’@‘localhost’ PASSWORD EXPIRE NEVER
3.flush privileges;
4.quit

重新登录 mysql -u root -p 123456

use mysql;

img

create database cmf default character set = 'utf8'; 
create database amon default character set = 'utf8'; 
create database hue default character set = 'utf8'; 
create database oozie default character set = 'utf8'; 
create database lyz default character set = 'utf8';

(14) 设置允许外网访问当前的mysql

https://www.cnblogs.com/wangjinyu/p/11679696.html

1.查看目前防火墙是否对外开发了3306端口

firewall-cmd --list-all

img

2.查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

img

no 表示没有开放

3.开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

img

4.重启防火墙

service firewalld restart

5再次.查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

6.查看目前防火墙

firewall-cmd --list-all

img

10 mysql-connector-java-5.1.39 上传整理

在三个对话框中都执行

(1) mkdir /usr/share/java

(2) 将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下

jar包自取

链接：https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA
提取码：c4hk

(3) mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar

img

11 CM组件和节点安装

（1） 组件自提

链接：https://pan.baidu.com/s/1YYtvenDbZKsX1pm8xM0gvw
提取码：qx7l

img

(2) cdh2 cdh3 集群只上传 agent 和 daemons rpm包 cdh1 三个包全部上传

img

img

（3） 全部节点都安装daemons和agent

  yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 

  yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

(4) cdh1 节点 安装server

 yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

12 下载 安装CDH6.2.0

（1）安装包自提

链接：https://pan.baidu.com/s/1qxYYzCTmRCEziK_T6JC9Bg
提取码：34b6

img

（2）下载之后 在CDH1节点上传

img

全部上传之后，将不同的资源移动到对应的目录下

（3）mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/

（4）mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/

（5）mv manifest.json /opt/cloudera/parcel-repo/

（6）mv PHOENIX-1.0.jar /opt/cloudera/csd/

（7）进入到parcel-repo目录下 效验 黄色框的字符码是否相等，来判断文件上传时是否正确

img

（8）修改server配置文件

  • # cdh1上修改server
  • 2 vi /etc/cloudera‐scm‐server/db.properties
  • 3 # 12行去掉注释把localhost改成cdh3
  • 4 # 15行去掉注释
  • 5 # 18行去掉注释，把cmf改成root
  • 6 # 21行去掉注释，密码那里填写123456
  • 7 # 28行 setupType = EXTERNAL

img

img

（9）修改agent配置文件

​ # 全部节点修改agent

 vi /etc/cloudera-scm-agent/config.ini

​ # 15行把localhost修改为cdh1

13、启动CM，开始安装CDH集群

​ # 在cdh1 上启动server

 systemctl start cloudera-scm-server

  • ​ #另开一个窗口，查看相关日志。有异常就解决异常

     tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

  • ​ # 在全部节点上启动agent

     systemctl start cloudera-scm-agent

  • ​ # 当在 cdh1上 netstat ‐tunlp | grep 7180 有内容时，说明我们可以访问web页面了

img

14、操作WEB 界面

img

img

img

起个名字 HK

img

img

img

img

img

选择自定义服务，先安装个zookeeper

img

img

到自定义角色分配 中，

Activity Monitor 我选择的是cdh1节点，zookeeper 我选择的是1-3 节点

img

数据库是在cdh3 上部署，然后主机名称为cdh3 数据库选择amon 用户名为root 密码 123456 然后点击测试连接

img

img

进入到这页之后，先查看自己集群节点的容量大小，输入 df -HT 我的cdh1的节点容量如下：

/dev/mapper/centos-root 系统盘的容量最大，占19个G 但使用15个G 所以 在选择上不选择系统盘

可以选择 /run盘 和 /boot 盘 作为存放的路径

点击继续

img

img

点击继续

img

img

img

接下来 我们选择安装HDFS 文件系统，如下图所示： 点击添加服务

img

img

在选择时，Secondary NameNode 选择cdh2 DataNode 选择所有主机，点击继续

img

对照四个红框进行选择，点击继续

img

等待安装，然后点击继续

img

点击完成

img

点击完成后，进入主页，然后点击HDFS，点击配置，在搜索框输入ec

img

img

输入ec（Erasure Coding 为hadoop3.0 纠删码），我们先不使用它，所以将右边下拉框

往下拉，将RS-6-3-1024k 选为 No Default Erasure Coding Policy.， 然后把检查HDFS

权限关闭。然后点击保存更改

img

img

然后返回主页，点击HDFS的重启按钮，进行重启。

img

img

勾选那个对号，然后立即重启

img

点击重启，进行等待，如下图

img

接下来 配置HDFS的High Availability ，进入HDFS中，点击操作按钮

img

修改名字，点击继续

img

img

编辑JournalNode 三台节点存储的目录路径，点击继续。

img

等待安装。然后点击继续，最后点击完成就安装成功。

img

接下来，安装yarn ,操作和之前一样。

img

点击继续，继续点击继续，等待安装。

img

img

蜡笔不小心弄丢小新
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH6.2.0搭建步骤
weixin_44264185的博客
05-20 477
CDH6.2.0搭建笔记
CentOS7搭建离线部署Cloudera CDH 6.2.0大数据平台
sinat_28371057的博客
09-12 826
如上述博客有任何错误或者疑问，请加VX：1755337994，及时告知！万分感激！ 1.概述 　　CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。 　　CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Y.
CDH6.2.0安装详细步骤.docx
07-24
该资源用于CDH6.2.0的本地安装。 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
CDH详细搭建教程
allensandy的博客
07-05 196
参考：https://www.cnblogs.com/programmer-tlh/p/14302749.html
CDH详解（史上最全）
最新发布
weixin_45424111的博客
06-12 3566
CDH详解，从小白到精通
CDH 6.2.0安装
nickyu888的博客
07-30 450
CDH安装文档 概述 本文档主要内容为 cdh 生态环境各个应用搭建部署文档，CDH包括zookper、hadoop、saprk、hive、scala。 软件环境 集群软件环境确定如下： 软件名称 版本 OS Centos 7.3 spark 2.4.0-cdh6.2.1 python python 2.7.13 java 1.8 hadoop 3.0.0-cdh6.2.1 mariadb 5.5.64 hive hive-2.1.1-cdh6.2.1 scala scal
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
CDH5.12离线搭建教程详解版
08-06
centos下cdh离线搭建详细过程，一些搭建过程中的小坑均有介绍
CDH6.2.0集群搭建
ytangdigl的博客
10-27 701
1、准备工作 1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为 IP hostname 192.168.1.11 master 192.168.1.12 slave01 192.168.1.13 slave02
CDH 6.2.0 集群安装-v54-20200625_213559.pdf
06-25
大数据集群6.2.0离线搭建文档，精心一个星期进行实践编写，报错信息截图详解，报错信息及重要提示处理，离线安装。
Centos7.6自动化安装CDH6.2.0脚本.docx
08-06
【CentOS7.6自动化安装CDH6.2.0脚本详解】 自动化安装脚本在IT运维领域中是提高效率的重要工具，特别是在大规模集群环境中，例如安装Cloudera Data Hub (CDH)。CDH是一款开源的大数据平台，包含了Hadoop、HBase、...
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB 1. 设置IP, hostname, hosts, ssh免密登录 可参考Hadoop中linux基本配置那篇文章 【Hadoop部署】Hadoop环境部署1
CDH6.2.0部署
yeyiboy的博客
09-15 250
https://www.cnblogs.com/mylovelulu/p/10384732.html https://blog.csdn.net/wolf_333/article/details/89071203 1、yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server 2、cd /opt/cloudera/parcel-repo （1）将第一部分下载的CDH Parcel文件..
Cloudera-manager搭建安装集群CDH6.2.0
qq_36306519的博客
04-27 715
Cloudera-manager搭建安装集群CDH6.2.0
cdh6.2.0环境搭建
yuyedewutong的博客
04-02 458
CDH搭建 一、环境构建 1、下载软件 cdh下载：https://archive.cloudera.com/cdh6/6.2.0/parcels/ cm下载：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/ cm的key下载：https://archive.cloudera.com/cm6/6.2.0/ 备注：cent...
CDH6.2.0安装教程
qq_27883617的博客
06-01 998
CDH6.2.0安装 记一次CDH6.2.0环境搭建，废话不多说，直接上CDH环境搭建步骤 1.硬件准备 建议最少4台物理机或者虚拟机（一个master，3个node），4核16G 如果用来学习，建议可以4核8G 如果是生产部署，推荐8核32G以上 2.主机规划 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200531235541135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow
CDH6.2.0搭建（史上最全的安装教程）
热门推荐
逆流而上Mr李
05-08 1万+
1 集群准备 1 首先准备三台虚拟机，虚拟机ip地址可以ping通。 ip 名称 192.168.63.131 cdh1 192.168.63.132 cdh2 192.168.63.133 cdh3 2 系统环境准备 在三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭 ...
CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）
This is Yunis's blog!
08-22 3400
CDH6.2.0+Sentry+Kerberos安装过程记录文档 一、准备工作 1、本文环境 名称 CentOS JDK MySQL CM CDH 版本 7.9 1.8 5.7 6.2.0 6.2.0 2、集群规划 IP 主机名 角色 安装服务 内存 处理器 192.168.198.11 dtb-tc-app11 Master cloudera-scm-servercloudera-scm-agent 6G 4 192.168.198.12 dtb-tc-app12
CDH6.2.0离线安装包及教程下载
这个安装包包括了离线安装教程和一系列必要的组件，如MySQL连接器、Cloudera Manager的相关组件、Docker引擎以及Java开发套件等，旨在简化CDH6.2.0的部署过程。" CDH（Cloudera Distribution Including Apache ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值