CenterOS7.2下搭建CDH5.15

最新推荐文章于 2021-06-10 16:37:00 发布

置顶

Chuck_basic

最新推荐文章于 2021-06-10 16:37:00 发布

阅读量1k

点赞数 2

分类专栏：环境搭建文章标签： CDH5.15 hadoop 大数据 cdh搭建

本文链接：https://blog.csdn.net/Chuck0415/article/details/82894938

版权

1.安装总概
- 1.1. 软件环境
- 1.2. 配置规划
- 1.3. CheckList
2.软件资源
- 2.1. JDK环境：
- 2.2. scala环境：
- 2.3. CM包：
- 2.4. CDH包
- 2.5 manifest.json
- 2.6. JDBC连接jar包：
3.环境配置
- 3.1. 修改机器名（所有节点）
  - 3.1.1. 修改机器名称
  - 3.1.2. 配置hosts
  - 3.1.3. 设置防火墙（所有节点）
- 3.2. 配置免密码登录SSH
  - 3.2.1启动SSH服务命令(root用户)
  - 3.2.2生成SSH公匙(root用户)
  - 3.2.3验证安装(root用户)
- 3.3. 关闭SELINUX（所有节点）
- 3.4. 修改Linux内核参数（所有节点）
- 3.5. 关闭透明大页面：
- 3.6. 修改文件句柄数：
- 3.7. 配置NTP服务
- 3.8. 安装依赖包（所有）
- 3.9. 安装oracle JDK1.8 （所有节点）
- 3.10. Mysql安装（主节点）
  - 3.10.1 mariadb安装
  - 3.10.2 启动mariadb
  - 3.10.3 配置mysql
4.安装CM
- 4.1. 传包，解包（所有）
- 4.2. 创建用户（所有）
- 4.3. 拷贝mysql-jar包
- 4.4. 创建数据库（主节点）
- 4.5. 制作本地Parcel目录（主从）
- 4.6. 修改cloudera-scm-agent配置（所有）
- 4.7. 启动CM Server和Agent（主从）
5.登陆CM Server完成集群安装
6.CDH集群安装检查
7.参考文献

1. 安装总概

1.1. 软件环境

本文将介绍Centos7.2离线安装CDH和Cloudera Manager过程，软件版本如下表1-1所示：

表1-1 软件版本选取

NO.	软件名称	版本
1	操作系统	Centos7.2
2	JDK	jdk-11.0.1_linux-x64
3	Clouder Manager	5.15.0
4	CDH	5.15.0
5	数据库	MariaDB

1.2. 配置规划

本次安装共4台服务器，服务器配置及用途如下表1-2所示：

表1-2 服务器基本规划配置

NO.	机器名称	内网	IP 核/内存/硬盘	用途
1	mater	192.168.8.5	32C/64G/500GB	CM，Mysql主
2	slave1	192.168.8.6	32C/64G/500GB	AG,slave1
3	slave2	192.168.8.7	32C/64G/500GB	AG,slave2
4	slave3	192.168.8.8	32C/64G/500GB	AG,slave3

1.3. CheckList

本部分是讲述，安装过程的checklist，也就是安装步骤总览，如表1-3所示：

NO.	类别	项目	当前进度
1	资源	校核操作系统	Centos7.2 64 位
2	资源	资源下载	Jdk+cm+cdh
3	Linux	Hostname-Hosts	互ping
4	Linux	Net-tools	能够使用ifconfig和netstat
5	Linux	防火墙，selinux	关闭成功
6	Linux	NTP对时	全主时间硬件更新
7	Linux	SSH免密	SSH(master对其他)
8	Linux	Swappiness小于10	修改成功
9	Linux	文件句柄改大	~~修改不成功~~
10	Linux	透明大页面关闭	修改成功
11	Soft	依赖包	安装成功
12	Soft	Jdk	安装成功
13	Soft	MySQL	root#root, navicat连接成功
14	CM-资源	JDBC,CM,CDH	移到/data/cdh
15	CM-资源	解压，传包	包含Mysql-jar
16	CM-安装	Linux用户创建	完成
17	CM-安装	CDH-数据库初始化	Navicat查看
18	CM-安装	Parcel目录	主从完成
19	CM-安装	配置	修改config.ini
20	CDH-基本	基本组件	安装完成

2. 软件资源

3.环境配置

3.1. 修改机器名（所有节点）

3.1.1. 修改机器名称

第一个节点修改信息如下，其他节点分别修改为slave1/slave2/slave3

hostnamectl set-hostname master //设置机器名
hostname // 查看本机名

这种方式，在Centos7中可以永久性改变主机名称。

3.1.2. 配置hosts

需要确保hostname唯一，同一个CDH集群内不能存在两个hostname相同的节点，否
则会出现异常；另外，hostname不能包含特殊字符，比如“_”，否则安装Cloudera
Manager Server时会报找不到主机的异常；如果hostname包含字母，建议全部使用小写
字母。

操作系统默认是通过/etc/hosts文件进行IP地址的解析，主要是定义主机名和IP地址的映射
关系，如果没配置DNS，集群所有节点都要有至少包含本集群所有节点的hosts文件
所有节点均修改/etc/hosts文件，新增如下IP与主机名的对照关系

vim /etc/hosts

内容都改为：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.8.5 master
192.168.8.6 slave1
192.168.8.7 slave2
192.168.8.8 slave3

3.1.3. 设置防火墙（所有节点）

需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

需要确保集群内所有节点能够互相访问，通常情况下，会永久关闭防火墙。如果企业在安全方面要求较为严格的话，比如银行、运营商，可能需要启用主机防火墙，配置相应的防火墙策略，只开放某些机器对某些必要端口的访问权限，比如ssh服务的22端口，agent的7190端口。
防火墙常用命令：

systemctl status firewalld.service（查询防火墙状态）
systemctl stop firewalld.service （关闭防火墙）
systemctl start firewalld.service （开启防火墙）
systemctl disable firewalld.service （禁止firewall开机启动）

3.2. 配置免密码登录SSH

3.2.1启动SSH服务命令(root用户)

service sshd restart

重启SSH

rpm -qa | grep openssh

检查SSH是否安装成功,如果出现下面的信息：

openssh-server-6.6

最低0.47元/天解锁文章

Chuck_basic

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
CenterOS7.2下搭建CDH5.15

目录1.安装总概1.1. 软件环境1.2. 配置规划1.3. CheckList2.软件资源2.1. JDK环境：2.2. scala环境：2.3. CM包：2.4. CDH包2.5 manifest.json2.6. JDBC连接jar包：3.环境配置3.1. 修改机器名（所有节点）3.1.1. 修改机器名称3.1.2. 配置hosts3.1.3...
复制链接

扫一扫