【KeyarchOS】安装部署CM5.13.0和CDH5.13.0实践

1.概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接https://www.ieisystem.com/kos/product-kos-xq.thtml?id=12126。

CM（cloudera Manager）是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制，建立了企业级部署的标准，增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。通过CM，技术人员可以很容易地部署和集中化操作CDH技术栈和其他可托管的服务。它使安装过程自动化，使部署时间从几个星期减少到几分钟；提供了一个集群范围、实时的主机和服务运行情况的视图；提供了一个单一的中央控制台，以对集群配置进行变更；并采用全方位的报告和诊断工具来帮助你优化性能和利用率。官网：https://www.cloudera.com/products/product-components/cloudera-manager.html。

CDH（Cloudera’s Distribution Including Apache Hadoop）是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源，无论是个人学习还是企业使用都比较有保障。CDH提供以下特性：灵活性：能够存储各种类型的数据，并使用各种不同的计算框架进行操作，包括批处理、交互式sql、文本搜索、机器学习和统计计算。集成性：能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件。安全性：处理和控制敏感数据。扩展性：能够部署多种应用，并扩展和扩充它们以满足你的需求。高可用性：可以放心地用于关键的商业任务。兼容性：可以利用你现有的IT基础设施和资源，官网：https://www.cloudera.com/。

2.安装准备

2.1操作系统环境

版本信息：KeyarchOS 5.8

硬件平台：X86_64

2.2 CM版本

CM5.13.0

下载地址：https://pan.baidu.com/s/1Q8-eAL7kx-Gljck_Bw3cbA?pwd=kss3

提取码：kss3

3.安装

3.1安装CM5.13.0

1、配置主机名

2、使用命令使其立刻生效

[root@node132 ~]# hostname $(cat /etc/hostname)

3、修改文件/etc/hosts

4、关闭防火墙、关闭SELinux

5、配置免密登录

6、卸载自带的jdk，安装jdk1.8.0_131并配置环境变量

7、安装MySQL8.0.26(已经在KOS AppSteam仓库发布)

8、启动MySQL服务

9、创建目录、创建cloudera-scm用户

10、解压并安装CM

[root@node132 ~]# yum install cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

[root@node132 ~]# yum install cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

[root@node132 ~]#yum install cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

11、修改cloudera-manger和cloudera-agent配置文件

指定数据库和主节点（主节点）

12、创建parcels目录、创建/usr/share/java/

用于后期cdh启动部署

13、安装mysql-connector-java-5.1.46

复制到系统文件夹下

14、登录Mysql创建数据库，创建用户并授权

15、准备parcels

（将下面的三个文件按照安装前下载到这个目录下/opt/cloudera/parcel-repo），用以安装CDH5，创建parcel-repo仓库目录

4.运行CM安装CDH

4.1启动CM服务

[root@ node132 cdh]# /etc/init.d/cloudera-scm-server restart

[root@ node132 cm]# /etc/init.d/cloudera-scm-agent restart

4.2初始化CM并安装CDH

1、浏览器打开CM

浏览器打开http://node132:7180，用户名密码都是admin

2、群集安装选择安装CDH5.13.0

选择集群设置