CDH-集群部署

最新推荐文章于 2024-09-23 09:26:47 发布
最新推荐文章于 2024-09-23 09:26:47 发布
阅读量2.2k 收藏 7
点赞数
文章标签： hdfs hadoop linux centos ssh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56508123/article/details/121733775
版权

文章目录

一、前期准备

1、集群准备

1.1 准备三台设备

IP名称
192.168.10.11cdh1
192.168.10.12cdh2
192.168.10.13cdh3

1.2 修改三台设备的主机名

hostnamectl set-hostname cdh1

1.3 修改IP地址（其他两台设备同时设置）

在这里插入图片描述

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b90477b9-4bad-4687-92ab-dc9d4563fb56
DEVICE=ens33
ONBOOT=yes
CONNECTION_METERED=yes
IPADDR=192.168.10.11 #修改成自己想要的IP
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
PREFIX=24

配置完成重启网卡

systemctl restart network

2、系统环境搭建

三台设备上进行网络配置，免密登录、防火墙关闭、selinux关闭

2.1 修改hosts域名映射

[root@localhost ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.11 cdh1
192.168.10.12 cdh2
192.168.10.13 cdh3

2.1 免密登录

执行ssh-keygen -t rsa 直接回车就OK
在执行
ssh-copy-id 192.168.10.12
(在主节点执行）

2.3 防火墙、selinux关闭

systemctl stop firewalld
systemctl disabled firewalld

[root@localhost ~]# vim /etc/selinux/config 
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled #将这里改为disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.4 安装JDK

[root@localhost ~]# mkdir /usr/java
[root@localhost ~]# cd /usr/java
将jdk环境包拉入/usr/java下
[root@localhost ~]# tar -xzvf jdk软件包
修改环境变量
[root@localhost ~]#  vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181
export JRE_HOME=/usr/java/jdk1.8.0_181/jre 
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 

刷新
source /etc/profile
执行
javac -version

2.5 安装NTP(只需要在cdh1)

yum -y install ntp
修改配置文件
vim /etc/ntp.conf
首先 注释4个server 然后添加server主机ip

在这里插入图片描述

上面修改完成在配置
vim /etc/sysconfig/ntpd
配置文件最后面增加一条命令
SYNC_CLOCK=yes

修改完成，重启ntpd服务
systemctl start ntpd.service
systemctl enable ntpd.service

2.6 修改系统参数（cdh1）

sysctl vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

2.7 安装httpd

yum -y install httpd
systemctl  start httpd.service
systemctl  status httpd.service

二、配置部署

1、下载第三方依赖包（每台都装）


yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

2、安装MySQL（cdh3）

数据库只在cdh3 上面进行安装，将下面6个rpm包上传到集群中 rpm包自己百度云提取
链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw
在这里插入图片描述

2.1首先查看自己的集群中是否安装mysql数据库

rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库

要是安装了 通过 yum -y remove mysql 进行卸载

2.2 依次安装
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld
systemctl enable mysqld

安装成功后 首先将数据库设置成无密码状态，需要修改配置
vim /etc/my.cnf
添加 skip-grant-tables 可保证为无密码状态
在这里插入图片描述
重启mysqld服务
systemctl restart mysqld

2.3 进入mysql数据库在这里插入图片描述

选择数据库 use mysql;

在这里插入图片描述
修改密码为123456

update user set authentication_string=password("123456") where user='root';
flush privileges;
quit;

再次进入数据库，并创建几个数据库
mysql -u root -p 密码123456
选择数据库 use mysql;

use mysql; 会报错， 说让你重新设置密码.执行下面这一步，设置密码：

输入

set password = PASSWORD('123456');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;
quit;

重新登录 mysql -u root -p 123456

use mysql;

create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';
create database lyz default character set = 'utf8';

对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作：

select host from user where user = 'root';
update user set host='%' where user = 'root'; 
flush privileges; 
quit;

设置允许外网访问当前的mysql

首先打开防火墙
systemctl start firewalld
firewall-cmd --list-all

在这里插入图片描述
查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

在这里插入图片描述
开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

在这里插入图片描述

重启防火墙
systemctl restart firewalld
再次查看3306端口是否开放
firewall-cmd --query-port=3306/tcp
查看目前防火墙
firewall-cmd --list-all

在这里插入图片描述

3、mysql-connector-java-5.1.39 上传整理

cdh1、cdh2、cdh3三台设备同时执行

  • 创建目录
    mkdir /usr/share/java
  • 将文件上传
    将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
  • 改写
    mv mysql-connector-java-5.1.39.jar mysql-connector-java.ja

4、CM组件和节点安装

4.1 组件

在这里插入图片描述

4.2 cdh2、cdh3集群只上传agent、daemons rpm包；cdh1 三个包全部上传

在这里插入图片描述
在这里插入图片描述

4.3 全部节点安装daemons和agent
yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cdh1节点安装server

yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

5、下载安装CDH6.2.0

在这里插入图片描述

5.1 下载完成 在cdh1节点上传

cd /opt/cloudera/parcel-repo/目录下上传以下文件

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel
PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha
manifest.json

cd /opt/cloudera/csd/

PHOENIX-1.0.jar

进入到parcel-repo目录下 效验 黄色框的字符码是否相等，来判断文件上传时是否正确

在这里插入图片描述

5.2 修改server配置文件
vim /etc/cloudera-scm-server/db.properties
12行去掉注释把localhost改成cdh3
15行去掉注释
18行去掉注释，把cmf改成root
21行去掉注释，密码那里填写123456
28行  setupType = EXTERNAL
5.3 在全部节点修改agent配置文件
 vim /etc/cloudera-scm-agent/config.ini
 15行把localhost修改为cdh1

三、启动CM，开始安装CDH集群

1、在cdh1上启动server和agent

systemctl start cloudera-scm-server

systemctl start cloudera-scm-agent

2、在cdh2、cdh3启动agent

systemctl  start cloudera-scm-agent

3、另开一个会话，查看相关日志

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

4、查看7180端口是否生效

netstat -anpt  | grep 7180

5、输入IP：7180登录页面

用户名：admin
密码：admin
在这里插入图片描述
操作web界面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
群集名称可以随意起 按要求
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
选择自定义服务，先安装个zookeeper

在这里插入图片描述
到自定义角色分配 中，

Activity Monitor 我选择的是cdh1节点，zookeeper 我选择的是1-3 节点
在这里插入图片描述
数据库是在cdh3 上部署，然后主机名称为cdh3 数据库选择amon 用户名为root 密码 123456 然后点击测试连接
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

L先生@..
关注
CDH集群搭建详细步骤
wanghenghengheng的博客
04-11 7472
CDH集群搭建笔记 企业： 第一个方面： 数据分析 第二个方面： 数据检索 基本组件： * Zookeeper 分布式协作框架 节点数目 测试集群：3 个 生产集群： >> 小型集群, 3 个或者 5个 >> 中型机群，５　个　或者　７个 >> 大型机群, 奇数个 * HDFS 存储...
CDH集群搭建
不会游泳的鱼
10-16 718
CDH集群搭建 文章目录CDH集群搭建一、网络配置（所有节点）1.1. 修改主机名1.2. 修改ip与主机名的对应关系二、配置ssh免密登陆（所有节点）2.1. 生成本地秘钥三、关闭Selinux（所有节点）3.1. 更改属性内容3.2 查看是否更改成功3.3 禁用大内存页面3.4 设置swappiness为0四、安装JDK（所有节点）4.1. 卸载系统默认安装的open JDK4.1.1 查找系统默认安装的JDK4.2. 安装JDK1.814.2.1 解压缩到指定目录4.2.2 配置环境变量五、安装Mys
【大数据集群搭建-CDH-（5）CDH环境搭建】CDH版本进行大数据集群各组件环境部署-（5）CDH环境搭建
weixin_53543905的博客
02-22 1569
默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；如果提示ERROR JDBC Driver com.mysql.jdbc.Driver not found，需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 IO 的效率、提升文件系统的性能。
搭建cdh集群及问题处理
最新发布
sunxunyong的博客
09-23 648
分发： ./dep.sh /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/ all。查看server日志# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log。查看agent日志# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log。安装cloudera-manager-server。
CDH集群部署.doc
03-21
采用在VM虚拟机上搭建方案，虚拟机环境VMware Workstation Pro12；虚拟三台机器方案，一主两备；内存：主节点4G，磁盘50G；目标集群作为测试环境使用，主要用于本机开发及维护测试。
cdh集群部署
西西工作室
01-04 2017
一 docker部署cdh-5.x cloudera/quickstart cloudera/clusterdock 二 docker部署cdh-6.x cdh安装包下载 docker拉取centos7镜像 docker pull centos:7.7.1908 启动docker container 2.1 设置网桥 docker network create --subnet=172.18.0.0/24 cdh-network 2.2 运行4个centos7的容器 docker run -d --pri
CDH集群部署
AntKengElephant的博客
08-08 374
https://blog.csdn.net/jenrey/article/details/80802052
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
Impala-cdh集群安装部署
09-18
本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
CDH集群部署手册(For CDH5)
08-28
详细描述CDH集群部署 1规划服务器 2 2安装和配置Mysql数据库 4 3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的mysql数据库 10 3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用性(基于Quorum-based Storage) 16 5.CDH安装使用lzo 22 5.1 hadoop_lzo安装 22 5.2 配置MapReduce： 23 5.3相关服务重启 25 6.安装Storm 25 7.附录. 25 7.1 CDH安装部署问题记录 25
CDH5集群部署指南
02-19
Linux系统下，完全分布式CDH5（Hadoop）集群部署指南。
CDH集群史无前例详细版搭建方式
03-26
CDH集群搭建史无前例详细版，按着文档搭，基本很稳，描述的很详细
CDH-6.3.2-FLINK1.12.0相关资源包
03-15
"flink-parcel"这个文件很可能是包含Flink 1.12.0的 parcel 文件，用于在CDH集群上安装和配置Flink。通过CDH的管理界面，用户可以方便地部署、启动和管理这个parcel，无需手动配置各个节点，极大地降低了运维复杂性...
flink-1.12-CDH-6.3.2.zip
03-19
Parcel是CDH的一种软件分发机制，它可以简化在CDH集群上部署和管理软件的过程。 5. FLINK-1.12.2-BIN-SCALA_2.12-el7.parcel.sha：这是(parcel文件的)SHA校验和文件，用于验证下载的parcel文件是否完整无损，确保在...
CDH集群的搭建【亲自搭建并把详细流程做了记录，对于初学很友好】
weixin_44616592的博客
02-21 6257
文章目录前言：一、集群准备安装 前言： 最近接到搭建CDH集群的任务 在集群搭建过程中碰到了不少问题并总结了一套搭建平滑的流程 在这里进行总结，方便下次再次进行集群搭建 服务器是aliyun服务器，新租的服务器从头开始搭建。 搭建过程中的错漏或者隐患欢迎大家指出 一、集群准备安装 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值