1 文档编写目的
Cloudera在2019年9月18日正式对外宣布发布Cloudera Stream Processing(CSP)2.0,参考《Cloudera Streams Management正式GA》。Cloudera Stream Processing (CSP)提供了高级消息传递,流处理和流分析功能,这些功能由Apache Kafka作为核心流处理引擎提供支持。它同时为Kafka添加了两个流管理功能,Kafka监控和Kafka数据复制。Streams Messaging Manager(SMM)为Kafka集群提供了一个监控仪表板。Streams Replication Manager(SRM)为企业提供了实现跨集群Kafka topic复制的能力。
CSP现在可以提供企业级的平台服务,通过与Cloudera Manager的集成实现集群管理和监控,与Apache Sentry集成实现基于角色的授权,同时集成一个新的Schema Registry服务以实现数据治理和schema管理能力。
CSP包含以下组件和服务:
1.由Streams Messaging Manager(SMM)提供Kafka的监控,可以通过Parcel在CM中安装。
2.由Streams Replication Manager(SRM)提供Kafka的数据复制,可以通过Parcel在CM中安装。
3.由Schema Registry提供Kafka和NiFi的schema的统一管理,可以通过Parcel在CM中安装。
4.支持CDH6.3中的Apache Kafka 2.2.0或者CDK4.1
-
注意:强烈推荐使用CDH6.3或更高版本,默认包含Apache Kafka。如果你使用的是CDH5.13,你需要使用CDK4.1或更高版本。CDK是Cloudera Distribution of Apache Kafka的简称,最新的CDK4.1基于Apache Kafka2.2.1。
5.支持Kafka Streams
6.使用Cloudera Manger实现集群管理和监控。
7.使用Apache Sentry实现Kafka的访问控制。
CSP2.0以模块化形式设计,为用户提供了灵活性,使其可以选择在CM托管集群上安装哪些服务。CSP2.0提供了两组功能:流处理和流管理。每一组都包含相应的parcel:
- CSP Stream Processing Parcels
- Kafka from CDH 6.3.0 or the CDK 4.1 Parcel
- Schema Registry Parcel
- CSP Stream Management Parcels
- SMM Parcel
- SRM Parcel
本文Fayson主要介绍如何在CDH6.3中安装SMM,其余部分会在后续的文章中进行介绍,在安装前需要了解SMM的安装前置:
1.Cloudera Manager必须升级到6.3或更高版本。
2.CDH5.13或更高版本,CDH6.3或更高版本。
3.集群必须已经安装Kafka服务CDK4.1或更高版本。
- 本次Fayson的测试环境为
1.CM和CDH版本为6.3
2.Redhat7.4
3.JDK1.8.0_181
4.集群未启用Kerberos
5.root用户安装
2 前置准备
2.1 下载SMM的试用安装包
1.访问试用下载链接,注意你需要注册cloudera.com的账号。
https://www.cloudera.com/downloads/cdf/csm-trial.html
2.下载SMM的csd文件
注意:该试用会在60天后过期。
3.点击Submit下载csd文件,并放置到Cloudera Manager Server的/opt/cloudera/csd目录。然后重启Cloudera Manager Server服务。
[root@ip-172-31-13-38 ~]# cd /opt/cloudera/csd
[root@ip-172-31-13-38 csd]# ll
total 28
-rw-r--r-- 1 root root 24630 Sep 4 20:02 STREAMS_MESSAGING_MANAGER-2.1.0.jar
[root@ip-172-31-13-38 csd]# systemctl restart cloudera-scm-server
4.CM重启完成以后,添加服务页面可以看到有SMM服务。
5.下载SMM的Parcel,并放置/var/www/html目录
[root@ip-172-31-13-38 ~]# cd /var/www/html/smm/
[root@ip-172-31-13-38 smm]# ll
total 126360
-rw-r--r-- 1 root root 6625 Sep 4 19:56 manifest.json
-rw-r--r-- 1 root root 129378640 Sep 4 19:57 STREAMS_MESSAGING_MANAGER-2.1.0.2.0.0.0-135-el7.parcel
-rw-r--r-- 1 root root 41 Sep 4 20:04 STREAMS_MESSAGING_MANAGER-2.1.0.2.0.0.0-135-el7.parcel.sha
6.通过Hosts > Parcels进入Cloudera Manager的Parcel页面,输入SMM Parcel的http地址,下载->分配->激活。
2.2 在MySQL中创建数据库与用户
1.登录到MySQL并创建SMM的数据库与用户。
create database streamsmsgmgr default character set utf8;
CREATE USER 'streamsmsgmgr'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON streamsmsgmgr. * TO 'streamsmsgmgr'@'%';
FLUSH PRIVILEGES;
2.3 在SMM节点上安装NPM
在添加和配置SMM服务之前,必须先安装节点软件包管理器(node package manager,NPM),然后安装forever模块。
1.安装gcc-c++编译器
[root@ip-172-31-13-38 ~]# yum install -y gcc-c++ make
2.安装nodejs和npm
[root@ip-172-31-13-38 ~]# curl -sL https://rpm.nodesource.com/setup_10.x | sudo -E bash -
[root@ip-172-31-13-38 yum.repos.d]# yum install nodejs -y
注意该步骤需要主机能上网才能够执行,如果主机不能上网需要离线安装nodejs和npm,可自行百度。
3.检查nodejs和npm的版本
[root@ip-172-31-13-38 yum.repos.d]# node -v
v10.17.0
[root@ip-172-31-13-38 yum.repos.d]# npm -v
6.11.3
注意nodejs版本需大于10,这里是10.17.0。
4.使用npm安装forever。
[root@ip-172-31-13-38 yum.repos.d]# npm install forever -g
2.4 获取集群Kafka的服务名
1.从CM主页进入Kafka服务。
2.随便选择右边“图表”,选择在“图表生成器中打开”
一般默认服务名都为kafka,记下这个名字在后面安装过程中会用到。
3 安装SMM
1.进入CM主页点击“添加服务”。
2.选择添加SMM服务,点击继续。
3.选择已经安装了npm和nodejs的节点,点击继续
4.配置以下必填配置,点击继续。
配置项 | 配置值 | 备注 |
---|---|---|
cm.metrics.host | ip-172-31-13-38.ap-southeast-1.compute.internal | CM主机的hostname |
cm.metrics.password | admin | CM的admin账号密码 |
cm.metrics.service.name | kafka | Kafka服务的名称 |
streams.messaging.manager.storage.connector.connectURI | jdbc:mysql://ip-172-31-13-38.ap-southeast-1.compute.internal:3306/streamsmsgmgr | MySQL地址 |
streams.messaging.manager.storage.connector.user | streamsmsgmgr | 连接MySQL的用户名 |
streams.messaging.manager.storage.connector.password | password | 连接MySQL的用户密码 |
5.等待SMM服务启动
6.点击继续,回到CM主页。
7.访问Streams Messaging Manager Web UI
8.访问Streams Messaging Manager Rest Swagger UI
至此SMM安装完毕。
4 总结
1.CSP2.0包含Kafka,Kafka Streams,Schema Registry ,Streams Messaging Manager(SMM)和Streams Replication Manager(SRM),本文档主要是介绍如何安装SMM,安装SMM需要集群已经安装了Kafka服务。
2.SMM的Parcel包下载需要到cloudera.com的试用页面进行下载,默认试用60天。
3.下载好SMM的csd文件,除了重启Cloudera Manager Server服务外,还需要重启Cloudera Management Service,否则安装SMM服务成功后,通过CM进入SMM服务后,右边的图表显示将会报错。
4.SMM需要在MySQL中创建相应的数据库与用户。
5.SMM服务所在节点需要安装nodejs和npm,还需要安装forever模块,主要nodejs版本需大于10。本文使用的是直接访问外网的方式,如果想离线安装nodejs和npm,需要另外准备相应的依赖包。
6.安装SMM服务前还需要通过CM获取Kafka服务的服务名,如何获取参考本文的前置准备章节。注意服务名一般是小写的kafka,这里会区分大小写。
7.SMM的安装只支持Cloudera Manager6.3或更高版本,这是因为CM6.3才增加对SMM服务的相关监控,如果CM版本较低,即使导入csd文件,CM的添加服务也不会有SMM服务显示。
8.SMM的安装支持CDH6.3或更高版本,CDH5.13或更高版本,但是必须安装CDK4.1以上版本的Kafka,CDK是Cloudera Distribution of Apache Kafka的简称,最新的CDK4.1基于Apache Kafka2.2.1。