云服务器安装CDH集群

已于 2022-02-17 14:19:09 修改
阅读量496 收藏
点赞数
分类专栏： cdh6.2.0 cdh集群安装配置 文章标签： hadoop
于 2021-09-24 10:36:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_gyb/article/details/120449155
版权

前提准备

虚拟机上服务器版本：centos7.8
对应ip和主机名
192.168.100.150 server150 Server150
192.168.100.151 server151 Server151
192.168.100.152 server152 Server152
192.168.100.153 server153 Server153
对应的软件准备(jdk,mysql,cdh等对应版本,服务器常用工具)
Jdk1.8u181
Mysql5.7
Cdh6.2
#所有节点安装常用工具
Yum install sudo
#1.安装vim编辑器
yum install -y vim
#2.安装lrzsz文件传输工具
yum -y install lrzsz
#3.安装wget文件下载工具
yum -y install wget
#4.安装netstat，查看端口监听状况： netstat -ntlp | grep 端口号
yum -y install net-tools
#5.下载unzip解压工具，解压命令： uzip 压缩包.zip -d 解压目录
yum install -y unzip zip

环境初始化

1. 修改主机名和ip
修改主机名
查看主机名：cat /ect/hostname
修改主机名：//永久性的修改主机名称，重启后能保持修改后的。
hostnamectl set-hostname server151
//删除hostname
hostnamectl set-hostname “”
hostnamectl set-hostname “” --static
hostnamectl set-hostname “” –pretty
修改ip
修改：ip addr
cd /etc/sysconfig/network-scripts
vim ifcfg-ens192
或者vim /etc/sysconfig/network-scripts/ifcfg-ens192
#重启网卡服务
systemctl restart network

#修改以下内容红色部分

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens192"
UUID="f10ce132-b6da-473d-bffc-580e7a5ca117"
DEVICE="ens192"
ONBOOT="yes"
IPADDR="192.168.100.151"
PREFIX="24"
GATEWAY="192.168.100.254"
DNS1="202.101.172.35"
IPV6_PRIVACY="no"

#保存并退出
#重启网卡服务
systemctl restart network

2. 关闭防火墙

#查看防火墙状态
Firewall-cmd –state
#永久关闭防火墙
Systemctl disable firewalld

3. 配置hosts文件

vim /etc/hosts
#所有节点都要配置
192.168.100.151 server151 Server151
192.168.100.152 server152 Server152
192.168.100.153 server153 Server153
192.168.100.154 server154 Server154

在这里插入图片描述
4. 配置免密

所有节点上执行
#到root目录下：
cd root
#执行生成密钥命令：
ssh-keygen -t rsa
#然后三个回车
#然后复制公钥追加到第一台节点的公钥文件中：
ssh-copy-id -i /root/.ssh/id_rsa.pub root@server152
#选择yes
#输入登录第一台节点的密码(操作完成该节点公钥复制到第一台节点中)

在这里插入图片描述
在这里插入图片描述

	#依次操作复制到其他几台的节点上
	ssh-copy-id -i /root/.ssh/id_rsa.pub root@server153
	ssh-copy-id -i /root/.ssh/id_rsa.pub root@server154

免密具体原理

逻辑
全部生成公钥和私钥
将第1台的公钥拷到该目录特定文件authorized_keys中，
将第1台的authorized_keys scp到第2台机器，
将第2台的公钥拷到该目录特定文件authorized_keys中
将第2台的authorized_keys scp到第3台机器
将第3台的公钥拷到该目录特定文件authorized_keys中
将第3台的authorized_keys scp到第1台机器

具体操作：
所有集群机器
cd /root/
ssh-keygen -t rsa
#然后三个回车
[root@hadoop26 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
此时authorized_keys只有hadoop26的公钥
[root@hadoop26 ~]# scp /root/.ssh/authorized_keys root@hadoop27:/root/.ssh/authorized_keys
[root@hadoop27 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
此时authorized_keys有hadoop26,hadoop27的公钥
[root@hadoop27 ~]# cat /root/.ssh/authorized_keys
[root@hadoop27 ~]# scp /root/.ssh/authorized_keys root@hadoop28:/root/.ssh/authorized_keys

[root@hadoop28 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
此时只有hadoop28的authorized_keys有hadoop26,hadoop27,hadoop28的公钥
[root@hadoop28 ~]# cat /root/.ssh/authorized_keys
[root@hadoop28 ~]# scp /root/.ssh/authorized_keys root@hadoop26:/root/.ssh/authorized_keys
此时hadoop26,hadoop28的authorized_keys有hadoop26,hadoop27,hadoop28的公钥
[root@hadoop28 ~]# scp /root/.ssh/authorized_keys root@hadoop27:/root/.ssh/authorized_keys
此时全部节点的authorized_keys有hadoop26,hadoop27,hadoop28的公钥

5. 设置时间同步

#先查看服务器是否安装ntpd服务(啥都没显示的话说明没有安装)
rpm -qa | grep ntpd
#安装NTP服务
yum install ntp或者yum –y install ntp
###5、设置时间同步
#设置时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai
#查看是否安装了ntpd的服务
rpm -qa  | grep  ntpd
#如果没有安装,可以进行在线安装
yum -y install ntp
#启动ntpd的服务
service  ntpd  start
#设置ntpd的服务开机启动
systemctl enable ntpd.service
#查看ntpd的服务是否启动
service  ntpd  status
#设置定时任务
#与阿里云服务器进行时钟同步
crontab  -e
#设置的内容如下(其中ip为你需要和该ip的时间同步为准)
*/1 * * * * /usr/sbin/ntpdate -u ip;
#然后date查看时间是否一致

6. 主节点安装配置mysql

自行百度建议安装mysql5.7

7. 创建本地yum仓库

使用阿里的镜像源安装MySQL时下载速度比较快
#1.备份原镜像文件，便于后期恢复
cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo.backup
#2.下载阿里云的CentOS-Base.repo 到/etc/yum.repos.d/
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#3. 清除缓存
yum clean all
#4. 生成缓存
yum makecache

8. 安装配置jdk

	hadoop权限：所有机器上安装jdk(单台安装在向集群分发)
#上传文件并解压到指定目录：jdk-8u181-linux-x64.tar.gz
tar –zxvf /tmp/ jdk-8u181-linux-x64.tar.gz –C /home/jdk1.8z
1 到配置文件中去配置java环境变量 
vi /ect/profile 
#复制： 

export JAVA_HOME=/usr/share/java/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH 
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin 
export PATH=$PATH:${JAVA_PATH} 

    然后：wq退出，然后通过命令source /etc/profile让profile文件立即生效 
2 检查环境变量 
    javac 
    java –version

一般不采用上述的方法：用二(见三，1)

	yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

该方法安装直接在/usr/java/路径下是莫个配置读取jdk的默认路径，然后配置环境变量

vim /ect/profile

主节点编写文件分发脚本

#/home路径下创建scp.sh脚本内容如下：
#同步主节点的文件到其他节点
sh scp.sh /usr/share/java/*
sh scp.sh /etc/profile
sh scp.sh /etc/hosts

scp.sh内容如下

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]then 
echo Not Enough Arguement! exit;
fi
#2. 遍历集群所有机器(主机名或者ip)
for host in ip1 ip2 ip3
do 
echo ==================== $host ==================== 
#3. 遍历所有目录，挨个发送 
for file in $@ 
do 
#4 判断文件是否存在 
if [ -e $file ] 
then 
#5. 获取父目录 
pdir=$(cd -P $(dirname $file); pwd) 
#6. 获取当前文件的名称 
fname=$(basename $file) 
ssh $host "mkdir -p $pdir" 
rsync -av $pdir/$fname $host:$pdir 
else 
echo $file does not exists! 
fi donedone

Cloudea Manager安装部署

  1. 安装CM Server及其agent

    文件准备：将下载好的CDH包和CM的包放到指定的目录：/opt/cloudera/parcel-repo
![在这里插入图片描述](https://img-blog.csdnimg.cn/ff37eb87e771490ba598047e3bd3b35b.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAY3Nkbl9neWI=,size_19,color_FFFFFF,t_70,g_se,x_16)
分发到集群的节点机器

安装httpd服务（cdh-1）
#安装
yum install -y httpd
#启动
systemctl start httpd
#开机自启
systemctl enable httpd
制作CM源生成repodata文件，需要用到createrepo这个包(cdh-1)
#安装
yum install -y createrepo
#进入到cm的rpm包存放目录
cd /var/www/html/cm
#生成repodata文件夹
createrepo .
#安装依赖(所有节点)
yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse

安装CM agent及其Server
#其中server是主节点安装，其他的所有机器都要安装(安装顺序daemons所有—> server主节点—> server-db主节点—> agent所有)

cd /var/www/html/cm 
yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
#该命令只有主节点安装
yum -y install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm

3. 所有节点修改agen加粗样式配置文件 ( server_host=主节点名称或者ip)

#所有节点修改agent配置(server_host=主节点ip或者主机名)
vim /etc/cloudera-scm-agent/config.ini

	 server_host=server150

4. 初始化scm数据库

	/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm

在这里插入图片描述

5. 启动cm server及其agent
启动cm server 及其agent(先启动server后启动agent)
#Server主节点启动CM server服务

	systemctl start cloudera-scm-server

#启动的日志目录为

	/var/log/cloudera-scm-server/
	tail cloudera-scm-server.log

#或者

tail  /var/log/cloudera-scm-server/ cloudera-scm-server.log

#所有节点启动CM agent
systemctl start cloudera-scm-agent
#查看状态
systemctl status cloudera-scm-agent
systemctl status cloudera-scm-server
#停掉服务
systemctl stop cloudera-scm-agent
systemctl stop cloudera-scm-server

7. 页面可视化安装其他服务
版本选择
在这里插入图片描述
在这里插入图片描述

安装基础服务

在这里插入图片描述
其中zookeeper安装的时候要选择至少3台节点
查看各服务版本

在这里插入图片描述

csdn_gyb
关注
专栏目录
在 阿里云ECS 上安装 CDH6.2 standalong
weixin_38173265的博客
01-07 1361
CDH 6.2 在阿里云上离线安装，standalone
基于阿里云的CDH集群安装
qq_16906867的博客
11-02 989
因为公司数据过多，单纯使用MySQL已经无法完成业务需求，现需要搭建一套基于阿里云的CDH大数据集群平台，由于现阶段CDH已经不再维护，所以若使用在生产环境中，需要警惕一定的安全攻击。
在云服务器上从0安装CDH5.4.0 步骤
陈在熙的博客
06-06 977
第一步（五台完成）： 查看防火墙状态： chkconfig iptables --list 关闭防火墙  service iptables stop 启动级别关闭防火墙 chkconfig iptables off  第二步（五台完成）：修改hosts文件（也是必须的）vi /etc/hosts 10.253.24.150   master1.com     master1 10.1
阿里云ECS服务器Centos7.6环境下部署CDH6.1.大数据集群
luoye4321的专栏
05-10 1841
阿里云购买同一地区下的三台服务器，操作系统为Centos7.6，内网地址分别是172.17.58.37 ，172.17.58.38， 172.17.58.39，对应的节点分别为node1,node2,node3,node1为主机。部署CDH6.1.0,详细部署过程如下： 一、基础环境配置（全部节点） 1、修改主机名 #hostnamectl set-hostname node1 #vi /...
大数据之CDH数仓(2) | 阿里云服务器准备
Knight
10-06 501
注册阿里云账户 https://www.aliyun.com/?utm_content=se_1000301881
使用阿里云主机离线部署CDH步骤详解
weixin_30329623的博客
03-07 373
一、Linux文件系统准备 1. 拍摄快照 登录阿里云控制台，拍摄快照，注意有几个关键点尽量拍摄快照，系统初始状态、CM环境准备完成、CM安装完成、CDH安装完成。 2. 挂载设备 三个主机都执行。 创建挂载目录 $mkdir /data 查看设备 $df -h $fdish -l 得知/dev/...
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
4. **安装 CDH 集群**: - 上传 `CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel` 文件到 CM Server。 - 在 CM Server 的 Web 界面上激活并分发该 parcel 到所有节点。 5. **配置 CDH 服务**: - 通过 CM 的 Web ...
CDH集群安装与升级
01-23
### CDH集群安装与升级知识点概览 #### 一、CDH集群概述 **Cloudera Distribution Including Apache Hadoop (CDH)** 是由Cloudera公司提供的基于Apache Hadoop的企业级大数据处理平台。CDH集成了众多开源项目，...
CDH集群安装前置准备及检查，CDH集群安装5.11.2版本
04-12
本文将深入探讨CDH集群安装的前置准备与检查，以及如何安装CDH 5.11.2版本。 首先，CDH 5.11.2是Cloudera在2017年发布的一个稳定版本，它包含了多个大数据处理组件，如Hadoop、HBase、Spark、Impala等，为企业提供...
CDH6.2.1 环境搭建（云服务器）
半吊子Kyle的博客
07-07 1732
CM/CDH6.2.1 环境搭建环境准备环境介绍服务器准备服务器安全组配置CM 部署准备修改 hostname修改 hosts 文件SSH 免密登陆关闭防火墙（云服务器可忽略）关闭 SELINUX（云服务器可忽略）配置 NTP 时钟同步（云服务器可忽略）CM安装部署安装 JDK（3台）本地yum源搭建及配置CM安装Mysql 及驱动安装CM初始化数据CM启动CDH 应用部署创建集群服务部署安装常见的问题CM初始化数据错误Server启动失败 环境准备 环境介绍 环境搭建规划 腾讯云服务器 3 台 + CDH
搭建CDH 阿里云 (Step 3: 搭建Hive)
xw514124202的博客
08-06 711
安装 官方文档 yum install hive hive-metastore hive-server2 -y PS. 找一台压力小的机器 安装hive 修改Hive配置文件 vim /etc/hive/conf/hive-site.xml <!-- HiveMetastore --!> <property> <name>java...
CDH集群的搭建【亲自搭建并把详细流程做了记录，对于初学很友好】
weixin_44616592的博客
02-21 6191
文章目录前言：一、集群准备安装 前言： 最近接到搭建CDH集群的任务 在集群搭建过程中碰到了不少问题并总结了一套搭建平滑的流程 在这里进行总结，方便下次再次进行集群搭建 服务器是aliyun服务器，新租的服务器从头开始搭建。 搭建过程中的错漏或者隐患欢迎大家指出 一、集群准备安装 ...
记录一次华为云主机安装CDH6的坑
没有合适的昵称
11-20 2306
1.使用华为云的鲲鹏服务器,因为是ARM架构,导致安装不上CDH,源码编译HDP也老是报错,可能原因是:底层系统架构的改变,以及鲲鹏服务器现阶段还不够成熟,搞了博主三天,没有解决问题,只好换个服务器 2.华为云的服务器,其hosts文件如下: ::1 localhost localhost.localdomain localhost6 localhost6.loca...
搭建CDH 阿里云 (Step 1: 启动hdfs)
xw514124202的博客
08-04 2041
准备动作 在阿里云申请三台机器(Centos) 安装Oracle JDK 在阿里云申请三台机器(Centos) PS. 内存要大于4g，因为namenode启动的时候内存需要 在每一台机器上配置域名 vim /etc/hosts 172.24.218.96 worker1 172.24.218.97 worker2 172.24.218.98 worker3...
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 3277
超级详细的cdh6.3.2安装部署教程
cdh平台安装详细教程
热爱生活，忠于自己
10-23 1943
CDH Cloudera版本平台安装基本流程
大数据之cdh集群安装
yaodunlin的博客
08-16 1508
安装cdh集群
CDH/CDP 是什么？
热门推荐
Shockang的博客
07-28 1万+
CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件发行版本。CDP（Cloudera Data Platform）是 CDH 的继任者。CDP 是面向企业的云计算平台。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值