基于阿里云的CDH集群安装

已于 2022-11-02 15:32:43 修改
阅读量698 收藏 3
点赞数 1
分类专栏： 大数据学习 文章标签： 阿里云 linux 服务器
于 2022-11-02 15:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16906867/article/details/127519913
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

因为公司数据过多，单纯使用MySQL已经无法完成业务需求，现需要搭建一套基于阿里云的CDH大数据集群平台，由于现阶段CDH已经不再维护，所以若使用在生产环境中，需要警惕一定的安全攻击。

一、集群重要相关数据

大数据平台一般占用资源都比较多，要确定好所需资源，如果学习使用，推荐使用阿里云共享标准型 s6或 s7，4核CPU，主节点16G内存以上，其他节点8G以上，操作系统为CentOS 7.9.2009。
为保护隐私，后续所有内网和外网IP都用下列方式代替，其中最后的编号则对应相应的主机。
密码统一为123456，注意后续安装过程中密码的替代，还有对应端口可以使用自己主机未使用的端口，在这里我们只做mysql的端口替换。
该方法使用的所有文件都存放在百度网盘上的，地址为：
链接：https://pan.baidu.com/s/10pBk45shVxKSKwWHVe4aTA?pwd=q4hk 提取码：q4hk

外网IP内网IP主机名称内存内核数操作系统
XXX.XXX.XXX.0010.0.0.001bigdata0116G4CentOS 7.9.2009
XXX.XXX.XXX.0020.0.0.002bigdata028G4CentOS 7.9.2009
XXX.XXX.XXX.0030.0.0.003bigdata038G4CentOS 7.9.2009

安装清单目录

  • 修改节点名和配置节点IP
  • 免密登录
  • 安装JDK
  • 安装MySQL
  • 安装CM

二、修改节点名和配置节点IP

#修改对应的节点名称
vim /etc/hostname

#修改对应的节点IP
vim /etc/hosts

#添加内容如下
0.0.0.001	bigdata01
0.0.0.002 	bigdata02
0.0.0.003	bigdata03

#配置好后重启服务器生效
reboot

三、免密登录

#在所有的节点上生成公钥和私钥
ssh-keygen -t rsa #三次回车

#将公钥拷贝到要免密登录的目标机器上
ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

#测试免密登录是否成功
ssh bigdata01
ssh bigdata02
ssh bigdata03

四、安装JDK

#在所有节点上/opt目录下创建module和software文件夹
mkdir /opt/module
mkdir /opt/software

#上传oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm到/opt/software目录下并安装
cd /opt/software
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

vim /etc/profile
#在文件中添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

#source一下
source /etc/profile
java -version	#成功即会显示 java version "1.8.0_181"

#scp分发,并source
scp -r /usr/java/ bigdata02:/usr/
scp -r /usr/java/ bigdata03:/usr/
scp /etc/profile bigdata02:/etc/
scp /etc/profile bigdata03:/etc/

#在02，03节点上source
source /etc/profile
java -version

五、安装MySQL

#查看MySQL是否安装
rpm -qa|grep -i mysql	#安装了就会打印出mysql的名字，例如mysql-libs-5.1.73-7.el6.x86_64
#如果安装了就先卸载，使用rpm -e --nodeps 上面打印出来的名字
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 #例子

#在所有节点上删除阿里云原有MySql依赖
yum remove mysql-libs

#在01节点下载MySql依赖并安装
yum install libaio
yum -y install autoconf
cd /opt/software
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

#上传mysql-libs到bigdata01的/opt/software目录
cd /opt/software/mysql-libs
ll

#安装MySQL服务器
rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
#查看产生的随机密码
cat /root/.mysql_secret #打印出来的密码记录一下，等会会用

#查看MySQL状态
systemctl status mysql
#启动MySQL
systemctl start mysql

#安装MySQL客户端
rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
#链接MySQL（密码替换成产生的随机密码）
mysql -uroot -p＋刚才的随机密码
#进入到mysql>中来修改密码
SET PASSWORD=PASSWORD('123456');
#退出MySQL
exit

#测试密码是否修改成功
mysql -uroot -p123456
#成功登录后显示数据库
show databases;
#使用MySQL数据库
use mysql;
#展示MySQL数据库中的所有表
show tables;
#展示user表的结构
desc user;
#查询user表
select User, Host, Password from user;
#修改user表，把Host表内容修改为%
update user set host='%' where host='localhost'; #目的使其他节点IP也能用mysql
#删除root用户的其他host
delete from user where host!='%';
#刷新退出
flush privileges;
quit;

1、更改Mysql的默认端口

#找到默认mysql配置
cd /usr/share/mysql/
ls #找到my-default.cnf文件，该文件为mysql默认配置文件
cp my-default.cnf /etc/my.cnf #将该文件复制到/etc/my.cnf

#修改mysql配置文件
vim /etc/my.cnf

#添加内容如下
  [mysqld]
  port=7306	#为更改后的端口号
  datadir=/var/lib/mysql
  socket=/var/lib/mysql/mysql.sock
  user=mysql
  # Disabling symbolic-links is recommended to prevent assorted security risks
  symbolic-links=0 
  [mysqld_safe]
  log-error=/var/log/mysqld.log
  pid-file=/var/run/mysqld/mysqld.pid


#重启mysql
systemctl restart mysql

#进入mysql
mysql -u root -p123456

#在mysql中查看端口信息 
show global variables like 'port';
#查看mysql基本信息
status;

2、在MYSQL中建库

#进入mysql，
mysql -uroot -p123456

#在mysql里建库
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

六、CM安装部署

1、CM安装

#先在/opt/software/mysql-libs解压mysql-connector-java-5.1.27.tar.gz
tar -zxvf mysql-connector-java-5.1.27.tar.gz

#将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名
cd mysql-connector-java-5.1.27
mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
mkdir /usr/share/java

scp mysql-connector-java.jar /usr/share/java/
scp -r /usr/share/java/ bigdata02:/usr/share/
scp -r /usr/share/java/ bigdata03:/usr/share/

2、上传cm6.3.1-redhat7.tar.gz到/opt/software/目录下

mkdir /opt/cloudera-manager
cd /opt/software/

#解压并安装
tar -zxvf cm6.3.1-redhat7.tar.gz
cd cm6.3.1/RPMS/x86_64/
mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/

cd /opt/cloudera-manager/
ll	#查看移动到目录下的三个文件

3、安装cloudera-manager-daemons

#安装cloudera-manager-daemons
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cd /opt	
ll	#安装完毕后多出/opt/cloudera目录

#将cloudera-manager分发到其他集群
scp -r /opt/cloudera-manager/ bigdata02:/opt/
scp -r /opt/cloudera-manager/ bigdata03:/opt/


#在02，03节点上安装cloudera-manager-daemons
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

4、安装cloudera-manager-agent

#在所有节点上操作
cd /opt/cloudera-manager/
yum install -y bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

#在所有节点上配置agent的server节点
vim /etc/cloudera-scm-agent/config.ini

#修改内容为
  server_host=bigdata01

5、安装cloudera-manager-server

#在节点01上安装cloudera-manager-server
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm	
#执行完会在/opt/cloudera上生成parcel-repo目录

#上传CDH包到parcel-repo
cd /opt/cloudera/parcel-repo
#将CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
#和CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha一起上传到该目录下


#修改server的db.properties
vim /etc/cloudera-scm-server/db.properties
#修改内容如下
  com.cloudera.cmf.db.type=mysql
  #更换了的MySQL的端口7306
  com.cloudera.cmf.db.host=bigdata01:7306	
  com.cloudera.cmf.db.name=scm
  com.cloudera.cmf.db.user=scm
  com.cloudera.cmf.db.password=scm
  com.cloudera.cmf.db.setupType=EXTERNAL

6、启动server服务和agent节点

#在01节点上执行server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -hbigdata01:7306 -uroot -p'123456'  scm scm scm --force
systemctl start cloudera-scm-server

#在所有节点上启动agent
systemctl start cloudera-scm-agent

#查看CM日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

若启动成功,则可进入bigdata01:7180内进行可视化部署

记得在自己的电脑上配置hosts文件，Windows的地址在C:\Windows\System32\drivers\etc\hosts，添加数据如下：

XXX.XXX.XXX.001	bigdata01
XXX.XXX.XXX.002	bigdata02
XXX.XXX.XXX.003	bigdata03
Frank__Geek
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CDH 5.15.2集群搭建(基于阿里云)
李玉坤的博客
02-22 2419
文章目录软件版本Cloudera Manger 架构虚拟机设置Step1:安装虚拟机（阿里云忽略此步骤）Step2:设置网络（针对自己搭建的虚拟机）Step3:设置hosts(后续操作均以root用户执行)Step4:关闭SELinux及防火墙（阿里云机器忽略此步骤）Step5: 设置ssh免密登录Step6: 设置ntp时间同步服务（阿里云无需同步） 软件版本 操作系统：centos 7.5 6...
阿里云centos7.8安装cdh6.3.1完整攻略
彬正的博客
11-12 765
1.准备4台阿里云云服务器 修改/etc/hostname和/etc/hosts 重启4台机器 2.配置4台服务器ssh免密码登录 ssh-keygen -t rsa 修改authorized_keys的权限：chmod 600 ~/.ssh/authorized_keys 3.安装ntp：所有节点 yum install ntp -y # 开机启动 chkconfig ntpd on # 启动ntp service ntpd start 4.修改文件打开限制：所有节点 echo "..
cdh 阿里云安装
github_28583061的博客
05-27 330
集群安装(cdh 6.2.1) cdh 安装 https://blog.csdn.net/u010003835/article/details/85007946 CDH6.1.0离线安装部署 https://blog.csdn.net/xsjzdrxsjzdr/article/details/86064094 https://www.cloudera.com/documentation/...
阿里云安装CDH6.3.2并集成flink1.12
weixin_44067108的博客
11-03 2529
1.购买阿里云服务器 可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器但是有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一步确定订单 购买完成 8毛钱一个小时 在控制台看到服务器 ...
使用阿里云服务器进行CDH部署学习
weixin_34389926的博客
06-29 829
1.准备的工具: 软件安装包： ossutil64工具下载: 1 [root@hadoop001 ~]# wget http://gosspublic.alicdn.com/ossutil/1.6.3/ossutil64 2 --2019-06-29 09:48:21-- http://gosspublic.alicdn.com/ossutil/1.6.3/ossutil64 ...
搭建CDH 阿里云 (Step 2: 启动yarn)
xw514124202的博客
08-04 720
Yarn HA 文档 Yarn HA 文档 配置 Yarn 分配集群资源 文档地址 yarn-site.xml 配置 <!-- Base Configs --> <property> <description>Classpath for typical applications.</description&gt
CDH 集群安装流程
10-18
CDH集群搭建-cm5.11.1，包括cm包下载，cdh包下载，centos下载安装，时间同步，网络配置，免密ssh，防火墙配置，hostname，安装Cloudera Manager，数据库驱动，agent配置，parcels包放置，启动cm server 和 agent，...
CDH集群软件安装手册@20191118.docx
11-18
CDH集群软件安装手册 CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的商业发行版，旨在提供一个完整的、可扩展的大数据解决方案。 CDH集群软件安装手册是指安装和配置CDH集群的详细指南，本手册...
CDH 集群安装文档参考
最新发布
08-30
CDH 集群安装文档参考
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G...
搭建CDH 阿里云 (Step 1: 启动hdfs)
xw514124202的博客
08-04 2021
准备动作 在阿里云申请三台机器(Centos) 安装Oracle JDK 在阿里云申请三台机器(Centos) PS. 内存要大于4g，因为namenode启动的时候内存需要 在每一台机器上配置域名 vim /etc/hosts 172.24.218.96 worker1 172.24.218.97 worker2 172.24.218.98 worker3...
在阿里云服务器ECS上用Cloudera搭建集群（随记）
wangzhanxidian的博客
06-30 2018
阿里云购买的三台机器，学习用的，所以基本上资源都是按最低买的，按流量时长计费，也花不了多少钱，并且一个账户下的机器不用配置，直接能ping通 三台机器Slave2是我最早买的，安装的环境都是是 CentOS 7.3 64位 修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave1 hos
hadoopcdh5大数据集群的搭建
qq_36928258的博客
03-28 948
    很久之前帮公司搭建了一个hadoopCDH5的demo，现在把详细搭建过程分析一下。因为自己搭了很多遍，因此可以说搭建说明还是很完备的，可以帮助大家借鉴一下嘿嘿，废话不多说，先上：一、软件环境准备1、在Oracle官网下载(网址: http://cn.ubuntu.com/download/)下载版本: Ubuntu 16.04 LTS(长期支持)版本2、安装VMware,直接在百度软件中...
阿里大数据专家带你玩转CDH，手把手带你部署数据可视化平台
Java架构师联盟
03-23 659
目录 一、说明 2 二、系统环境搭建 3 1、网络配置(所有节点) 3 2、SSH免密码登录 3 3、关闭防火墙 3 4、关闭SELINUX 4 5、安装JDK 4 6、设置NTP 5 7、安装配置MySql 5 8、下载依赖包 7 三、Cloudera Manager Server&Agent安装 8 1、安装Cloudera Manager Server&amp...
CDH数仓项目(一) —— CDH安装部署搭建详细流程
不以物喜的博客
01-27 2925
CDH数仓项目——基于CDH搭建数据仓库
CDH 6.3.2 高可用安装步骤
爱摄影的小章同学的博客
07-20 1403
CDH 6.3.2 高可用安装步骤
大数据之CDH数仓(3) | CM部署准备
Knight
10-07 574
连接阿里云服务器 使用xshell连接(公有ip) 修改hosts文件(私有ip) 记得在hadoop103，104配置 注意：这里每个人不一样，ip填写的是私有ip，做完后ping一下。 SSH免密登录 配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的，所以这里不需要配置SSH免密登录，但是为了我们分发文件方便，在这里我们也配置SSH。 1）生成公钥和私钥： [root@hadoop1
使用阿里云主机离线部署CDH步骤详解
weixin_30329623的博客
03-07 365
一、Linux文件系统准备 1. 拍摄快照 登录阿里云控制台，拍摄快照，注意有几个关键点尽量拍摄快照，系统初始状态、CM环境准备完成、CM安装完成、CDH安装完成。 2. 挂载设备 三个主机都执行。 创建挂载目录 $mkdir /data 查看设备 $df -h $fdish -l 得知/dev/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值