1.概述
浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接https://www.ieisystem.com/kos/product-kos-xq.thtml?id=12126。
CM(cloudera Manager)是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制,建立了企业级部署的标准,增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。通过CM,技术人员可以很容易地部署和集中化操作CDH技术栈和其他可托管的服务。它使安装过程自动化,使部署时间从几个星期减少到几分钟;提供了一个集群范围、实时的主机和服务运行情况的视图;提供了一个单一的中央控制台,以对集群配置进行变更;并采用全方位的报告和诊断工具来帮助你优化性能和利用率。官网:https://www.cloudera.com/products/product-components/cloudera-manager.html。
CDH(Cloudera’s Distribution Including Apache Hadoop)是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源,无论是个人学习还是企业使用都比较有保障。CDH提供以下特性:灵活性:能够存储各种类型的数据,并使用各种不同的计算框架进行操作,包括批处理、交互式sql、文本搜索、机器学习和统计计算。集成性:能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件。安全性:处理和控制敏感数据。扩展性:能够部署多种应用,并扩展和扩充它们以满足你的需求。高可用性:可以放心地用于关键的商业任务。兼容性:可以利用你现有的IT基础设施和资源,官网:https://www.cloudera.com/。
2.安装准备
2.1操作系统环境
版本信息:KeyarchOS 5.8
硬件平台:X86_64
2.2 CM版本
CM5.13.0
下载地址:https://pan.baidu.com/s/1Q8-eAL7kx-Gljck_Bw3cbA?pwd=kss3
提取码:kss3
3.安装
3.1安装CM5.13.0
1、配置主机名
2、使用命令使其立刻生效
[root@node132 ~]# hostname $(cat /etc/hostname)
3、修改文件/etc/hosts
4、关闭防火墙、关闭SELinux
5、配置免密登录
6、卸载自带的jdk,安装jdk1.8.0_131并配置环境变量
7、安装MySQL8.0.26(已经在KOS AppSteam仓库发布)
8、启动MySQL服务
9、创建目录、创建cloudera-scm用户
10、解压并安装CM
[root@node132 ~]# yum install cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm
[root@node132 ~]# yum install cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm
[root@node132 ~]#yum install cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm
11、修改cloudera-manger和cloudera-agent配置文件
指定数据库和主节点(主节点)
12、创建parcels目录、创建/usr/share/java/
用于后期cdh启动部署
13、安装mysql-connector-java-5.1.46
复制到系统文件夹下
14、登录Mysql创建数据库,创建用户并授权
15、准备parcels
(将下面的三个文件按照安装前下载到这个目录下/opt/cloudera/parcel-repo),用以安装CDH5,创建parcel-repo仓库目录
4.运行CM安装CDH
4.1启动CM服务
[root@ node132 cdh]# /etc/init.d/cloudera-scm-server restart
[root@ node132 cm]# /etc/init.d/cloudera-scm-agent restart
4.2初始化CM并安装CDH
1、浏览器打开CM
浏览器打开http://node132:7180,用户名密码都是admin
2、群集安装选择安装CDH5.13.0
选择集群设置