cdh 安装_0623-6.2.0-如何在CDH中安装CFM

1.文档编写目的

2019年4月15日，Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management，即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品，Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用，包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后，对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中，CEM和CFM就是一次开始，它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《Cloudera Flow Management和Cloudera Edge Management正式发布》。

本文Fayson主要介绍如何在CDH6.2中安装CFM，CFM中的核心组件就是Apache NiFi，对于NiFi的介绍可以参考前面的文章《0622-什么是Apache NiFi》。

• 测试环境

1.Redhat7.4

2.采用root用户操作

3.集群未启用Kerberos

4.CM/CDH6.2

5.CFM1.0

6.NiFi1.9

2.CFM安装前置

2.1.系统需求

1.JDK8 - 如果你的集群已经配置为JDK8，你可以跳过该步骤。否则你需要在安装CFM前先安装JDK8。本文的环境为CDH6.2，默认只支持JDK8，所以跳过。

2.Zookeeper – CDH集群需要添加Zookeeper并且保证可用。

3.CFM支持的CM和CDH版本为6.x或者5.5.6以上。本文假设你已经安装好了一个CDH集群，如果没有，请先准备相应的CDH集群。

4.Parcel的安装方式需要将CFM安装到由Cloudera Manager管理的一台主机上，所以你在进行本文后面的操作时，需要先加入一台机器到CDH集群中，可以参考《0072-CDH安装前置准备》和《0089-如何给CDH集群增加Gateway节点》。本文直接安装到Cloudera Manager节点，所以跳过。

2.2.Cloudera服务支持

• 表1：数据存储

• 表2：数据移动和处理

• 表3：存储格式

• 表4：企业服务

3.部署CFM Parcel包

1.下载CFM的Parcel，下载地址如下

http://archive.cloudera.com/CFM/parcels/1.0.0.0/manifest.jsonhttp://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcelhttp://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel.sha1

2.将下载的文件部署在Apache所在服务器的/var/www/html/cfm目录下

[root@ip-172-31-6-83 ~]# cd /var/www/html/cfm[root@ip-172-31-6-83 cfm]# lltotal 1694724-rw-r--r-- 1 root root 1735385749 Mar 30 07:19 CFM-1.0.0.0-el7.parcel-rw-r--r-- 1 root root 41 Apr 20 01:05 CFM-1.0.0.0-el7.parcel.sha-rw-r--r-- 1 root root 3132 Mar 30 07:20 manifest.json[root@ip-172-31-6-83 cfm]#

3.通过浏览器测试是否部署成功

看到以上界面说明部署成功。

4.安装CSD文件

1.下载CSD文件，使CM支持CFM安装，文件下载地址:

http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFI-1.9.0.1.0.0.0-90.jarhttp://archive.cloudera.com/CFM/csd/1.0.0.0/NIFICA-1.9.0.1.0.0.0-90.jarhttp://archive.cloudera.com/CFM/csd/1.0.0.0/NIFIREGISTRY-0.3.0.1.0.0.0-90.jar

2.将下载好的三个jar文件放在CM所在服务器的/opt/cloudera/csd目录下

[root@ip-172-31-6-83 cfm]# cd /opt/cloudera/csd[root@ip-172-31-6-83 csd]# chown cloudera-scm:cloudera-scm NIFI*.jar[root@ip-172-31-6-83 csd]# chmod 644 NIFI*.jar[root@ip-172-31-6-83 csd]# lltotal 68-rw-r--r-- 1 cloudera-scm cloudera-scm 29897 Mar 30 07:19 NIFI-1.9.0.1.0.0.0-90.jar-rw-r--r-- 1 cloudera-scm cloudera-scm 9320 Mar 30 07:19 NIFICA-1.9.0.1.0.0.0-90.jar-rw-r--r-- 1 cloudera-scm cloudera-scm 23145 Mar 30 07:19 NIFIREGISTRY-0.3.0.1.0.0.0-90.jar[root@ip-172-31-6-83 csd]#

3.重启cloudera-scm-server服务

[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server● cloudera-scm-server.service - Cloudera CM Server Service Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled) Active: active (running) since Tue 2019-05-07 11:48:43 CST; 39s ago Main PID: 11137 (java) CGroup: /system.slice/cloudera-scm-server.service └─11137 /usr/java/jdk1.8.0_181-cloudera/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service: main process exited, code=exited, status=143/n/aMay 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Unit cloudera-scm-server.service entered failed state.May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service failed.May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: JAVA_HOME=/usr/java/jdk1.8.0_181-clouderaMay 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0May 07 11:48:45 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.Hint: Some lines were ellipsized, use -l to show in full.[root@ip-172-31-6-83 csd]#

5.配置CFM的Parcle库

1.配置Parcel库

2.下载、分配并激活

3.完成激活

6.安装CFM服务

6.1.安装NiFi Toolkit CA

Apache NiFi Certificate Authority服务为Apache NiFi和Apache NiFi Registry提供证书授权服务。

1.进入CM主页，选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi CA Service”,点击“继续”

3.选择NiFi Toolkit和Gateway节点，根据实际情况选择，Fayson这里选择的是使用CM节点，点击“继续”。

4.输入NiFi CA Token，点击“继续”

注意：token必须16个字符或以上。

5.首次运行NiFi CA，点击“继续”

6.完成NiFi CA服务的安装

点击完成退出。

6.2.安装NiFi Registry

Apache NiFi Registry是一个补充应用程序，为一个或多个NiFi和/或MiNiFi实例的共享资源的存储和管理提供了一个中心位置。

1.进入CM主页，选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi Registry”,点击“继续”

3.选择NiFi Registry节点，根据实际情况选择，可以选择多个，Fayson这里选择的是使用CM节点，点击“继续”。

4.保持默认配置，不做修改，点击“继续”

5.首次运行NiFi Registry，点击“继续”

6.完成NiFi Registry服务的安装

点击完成退出。

6.3.安装NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。简单地说，NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。

1.进入CM主页，选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi”,点击“继续”

3.选择NiFi的依赖服务，这里我们选择全集包括NiFi CA和Zookeeper，尤其是对于NiFi集群需要使用到Zookeeper，点击“继续”。

4.选择NiFi节点，根据实际情况选择，可以选择多个，Fayson这里选择的是使用CM节点，点击“继续”。

5.保持默认配置，不做修改，点击“继续”

6.首次运行NiFi Registry，点击“继续”

7.完成NiFi Registry服务的安装

点击完成退出。

6.4.重启Cloudera Management Service

1.重启CMS，否则CM无法监控新增的三个服务包括NiFi Toolkit CA，NiFi Registry和NiFi的状态，会显示为灰色问号。

重启完毕。

2.回到CM主页查看3个NiFi相关服务运行正常。

7.登录NiFi的Web页面

使用http://:8080/nifi登录到NiFi画面：

至此，CFM安装成功。