CDH-集群部署

最新推荐文章于 2024-05-13 21:57:41 发布
最新推荐文章于 2024-05-13 21:57:41 发布
阅读量1.7k 收藏 7
点赞数
文章标签： hdfs hadoop linux centos ssh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56508123/article/details/121733775
版权

文章目录

一、前期准备

1、集群准备

1.1 准备三台设备

IP名称
192.168.10.11cdh1
192.168.10.12cdh2
192.168.10.13cdh3

1.2 修改三台设备的主机名

hostnamectl set-hostname cdh1

1.3 修改IP地址（其他两台设备同时设置）

在这里插入图片描述

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b90477b9-4bad-4687-92ab-dc9d4563fb56
DEVICE=ens33
ONBOOT=yes
CONNECTION_METERED=yes
IPADDR=192.168.10.11 #修改成自己想要的IP
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
PREFIX=24

配置完成重启网卡

systemctl restart network

2、系统环境搭建

三台设备上进行网络配置，免密登录、防火墙关闭、selinux关闭

2.1 修改hosts域名映射

[root@localhost ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.11 cdh1
192.168.10.12 cdh2
192.168.10.13 cdh3

2.1 免密登录

执行ssh-keygen -t rsa 直接回车就OK
在执行
ssh-copy-id 192.168.10.12
(在主节点执行）

2.3 防火墙、selinux关闭

systemctl stop firewalld
systemctl disabled firewalld

[root@localhost ~]# vim /etc/selinux/config 
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled #将这里改为disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.4 安装JDK

[root@localhost ~]# mkdir /usr/java
[root@localhost ~]# cd /usr/java
将jdk环境包拉入/usr/java下
[root@localhost ~]# tar -xzvf jdk软件包
修改环境变量
[root@localhost ~]#  vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181
export JRE_HOME=/usr/java/jdk1.8.0_181/jre 
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 

刷新
source /etc/profile
执行
javac -version

2.5 安装NTP(只需要在cdh1)

yum -y install ntp
修改配置文件
vim /etc/ntp.conf
首先 注释4个server 然后添加server主机ip

在这里插入图片描述

上面修改完成在配置
vim /etc/sysconfig/ntpd
配置文件最后面增加一条命令
SYNC_CLOCK=yes

修改完成，重启ntpd服务
systemctl start ntpd.service
systemctl enable ntpd.service

2.6 修改系统参数（cdh1）

sysctl vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

2.7 安装httpd

yum -y install httpd
systemctl  start httpd.service
systemctl  status httpd.service

二、配置部署

1、下载第三方依赖包（每台都装）


yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

2、安装MySQL（cdh3）

数据库只在cdh3 上面进行安装，将下面6个rpm包上传到集群中 rpm包自己百度云提取
链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw
在这里插入图片描述

2.1首先查看自己的集群中是否安装mysql数据库

rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库

要是安装了 通过 yum -y remove mysql 进行卸载

2.2 依次安装
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld
systemctl enable mysqld

安装成功后 首先将数据库设置成无密码状态，需要修改配置
vim /etc/my.cnf
添加 skip-grant-tables 可保证为无密码状态
在这里插入图片描述
重启mysqld服务
systemctl restart mysqld

2.3 进入mysql数据库在这里插入图片描述

选择数据库 use mysql;

在这里插入图片描述
修改密码为123456

update user set authentication_string=password("123456") where user='root';
flush privileges;
quit;

再次进入数据库，并创建几个数据库
mysql -u root -p 密码123456
选择数据库 use mysql;

use mysql; 会报错， 说让你重新设置密码.执行下面这一步，设置密码：

输入

set password = PASSWORD('123456');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;
quit;

重新登录 mysql -u root -p 123456

use mysql;

create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';
create database lyz default character set = 'utf8';

对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作：

select host from user where user = 'root';
update user set host='%' where user = 'root'; 
flush privileges; 
quit;

设置允许外网访问当前的mysql

首先打开防火墙
systemctl start firewalld
firewall-cmd --list-all

在这里插入图片描述
查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

在这里插入图片描述
开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

在这里插入图片描述

重启防火墙
systemctl restart firewalld
再次查看3306端口是否开放
firewall-cmd --query-port=3306/tcp
查看目前防火墙
firewall-cmd --list-all

在这里插入图片描述

3、mysql-connector-java-5.1.39 上传整理

cdh1、cdh2、cdh3三台设备同时执行

  • 创建目录
    mkdir /usr/share/java
  • 将文件上传
    将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
  • 改写
    mv mysql-connector-java-5.1.39.jar mysql-connector-java.ja

4、CM组件和节点安装

4.1 组件

在这里插入图片描述

4.2 cdh2、cdh3集群只上传agent、daemons rpm包；cdh1 三个包全部上传

在这里插入图片描述
在这里插入图片描述

4.3 全部节点安装daemons和agent
yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cdh1节点安装server

yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

5、下载安装CDH6.2.0

在这里插入图片描述

5.1 下载完成 在cdh1节点上传

cd /opt/cloudera/parcel-repo/目录下上传以下文件

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel
PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha
manifest.json

cd /opt/cloudera/csd/

PHOENIX-1.0.jar

进入到parcel-repo目录下 效验 黄色框的字符码是否相等，来判断文件上传时是否正确

在这里插入图片描述

5.2 修改server配置文件
vim /etc/cloudera-scm-server/db.properties
12行去掉注释把localhost改成cdh3
15行去掉注释
18行去掉注释，把cmf改成root
21行去掉注释，密码那里填写123456
28行  setupType = EXTERNAL
5.3 在全部节点修改agent配置文件
 vim /etc/cloudera-scm-agent/config.ini
 15行把localhost修改为cdh1

三、启动CM，开始安装CDH集群

1、在cdh1上启动server和agent

systemctl start cloudera-scm-server

systemctl start cloudera-scm-agent

2、在cdh2、cdh3启动agent

systemctl  start cloudera-scm-agent

3、另开一个会话，查看相关日志

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

4、查看7180端口是否生效

netstat -anpt  | grep 7180

5、输入IP：7180登录页面

用户名：admin
密码：admin
在这里插入图片描述
操作web界面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
群集名称可以随意起 按要求
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
选择自定义服务，先安装个zookeeper

在这里插入图片描述
到自定义角色分配 中，

Activity Monitor 我选择的是cdh1节点，zookeeper 我选择的是1-3 节点
在这里插入图片描述
数据库是在cdh3 上部署，然后主机名称为cdh3 数据库选择amon 用户名为root 密码 123456 然后点击测试连接
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

L先生@..
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建：离线部署 CDH 5.12.1 及部署 Hadoop 集群服务
good7ob的博客
08-06 189
通过本文的介绍，你已经学习了如何离线部署 CDH 5.12.1 和搭建 Hadoop 集群服务。你还了解了如何使用 Hadoop 集群进行数据处理，并通过一个简单的 WordCount 案例进行了演示。希望本文能够帮助你快速搭建起一个可靠的大数据处理平台，并了解了如何使用 Hadoop 集群进行数据处理。CDH 提供了强大的分布式存储和计算能力，可以满足大规模数据处理的需求。通过搭建 Hadoop 集群，你可以充分利用集群的计算资源，实现高效的数据处理和分析。
大数据之cdh集群安装
yaodunlin的博客
08-16 1432
安装cdh集群
2024年大数据最新CDH集群6，大数据开发通用流行框架大全
最新发布
2401_84183669的博客
05-13 897
注意此处有坑：对于MySQL5.7高版本，启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常，原因是默认开启了SSL认证，相当于useSSL=true，解决方法就是在配置中添加skip-ssl重启MySQL服务，另外[mysqld_safe]配置项已废弃不用，以下的配置均已经过验证。用于各节点连接数据库，Cloudera要求必须创建在/usr/share/java目录下才能被组件使用。
CDH集群测试和管理
互联网知识分享
05-22 187
下面的内容比较多，由于文章的字数有限制，所以只能截图了，需要下面文档的，可以在下方评论，或私信我，免费分享文件资料。
1000+节点的cdh集群主服务迁移全过程
涤生大数据
08-26 2085
由于种种原因，线上cdh集群的管理服务Cloudera Manager所在主机不能正常使用，Cloudera Manager相关的服务需要迁移到新的主机运行，且生产迁移不能影响任何生产环境的使用。
CDH/CDP 是什么？
Shockang的博客
07-28 9496
CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件发行版本。CDP（Cloudera Data Platform）是 CDH 的继任者。CDP 是面向企业的云计算平台。
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
Impala-cdh集群安装部署
09-18
本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G...
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档v1.1.docx 大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： ...
CDH5集群部署指南
02-19
Linux系统下，完全分布式CDH5（Hadoop）集群部署指南。
CDH大数据平台搭建之集群规划
qq_41924766的博客
06-04 1722
CHD大数据平台搭建之集群规划前言一、集群规模二、集群规划总结 前言 话说无规矩不成方圆，搭建CDH大数据平台之前需要的工作很多，首先，你需要计算公司每日的数据量，来确定需要多少服务器，确定好服务器之后，需要规划集群节点的分配。由于是个人搭建，不存在数据量计算，只做集群规划即可。 一、集群规模 每日数据量的多少，决定了服务器的数量 计算规则如下： 1、hdfs数据保存3份 2、一般文件保存3年 3、每台服务器硬盘大小8T，但会留20%左右的空闲空间 所需服务器数量 = 公司每日数据量(TB) * 3 * 3
大数据开发之CDH使用搭建大数据平台
y_wang_的博客
04-09 4474
介绍CDH，并介绍使用其搭建大数据平台的详细步骤
CDH集群安装&测试总结
cihongmo6452的博客
10-24 439
0.绪论 之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的： 当我搭建的过程中，发现这些东西是这样的： 对于初学者来说，我认为缺点如下： 1.需要控制，配置的东西太...
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
CDH集群搭建
m0_61607827的博客
03-07 2147
一、说明 节点(CentOS7.5) Server || Agent CPU node11 Server || Agent 4G node12 Agent 2G node13 Agent 2G 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa（一直回车直即可） 2．将公钥分发...
利用CDH进行spark集群部署
victory0508的专栏
03-23 6764
1. 规划： master: brain01 worker: brain02、brain03、brain04 2. 准备工作： 2.1 安装Java 1.7 2.2 设置主机名，编辑/etc/hosts 2.3 关闭iptables:  service iptables stop chkconfig iptables off 2.4 关闭selinux,修改文件/etc/
集群管理系统CDH--概要
heima201907的博客
12-03 875
1.集群管理工具选型1.1 什么是CDH，ambari？Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、...
大数据（044）CDH【CDH介绍】
张--小涛涛
01-11 4227
一、痛点 一个产品的出现肯定是为了解决用户的痛点，在大数据领域，我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的ApacheHadoop，在工作中我总结出了如下痛点（部分）： 1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 2、规模很大的集群下升级Hadoop版本很费时费力 3、需要自己保证版本兼容，比如升级Hadoop版本后需要自...
cdh5.6集群部署手册
08-01
CDH 5.6集群部署手册是针对Cloudera Distribution for Hadoop (CDH) 5.6版本的集群部署指南。以下是一个简要的回答，介绍一些基本的内容以供参考。 首先，安装操作系统。手册中会列出所需的操作系统版本和安装要求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值