CDH集成Flink

CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话，必须自己添加并进行相关的配置。

集成FLINK主要分2大步骤

• 提供一个包jar包，让cdh能识别你是谁，然后在cdh里注册，并下载文件激活。
• 在集群中添加服务，并启动。

• 下载flink相应的csd文件和parcels文件到本地
  https://archive.cloudera.com/csa/1.0.0.0/csd/

• 如果想用flink更高版本，自己可去编译，这里是cloudera网提供1.9版本，不用编译

• 下载flink相应的csd文件和parcels文件到本地

https://archive.cloudera.com/csa/1.0.0.0/parcels/

 

• 把下载的东西对应的放到节点上

 

• 重启cm(利用命令重启cm,不要在web操作,无效)

  systemctl restart cloudera-scm-server.service

  
   
• 重启完到web界面激活flink并添加服务
  
  
  
  

• 在提交任务到yarn的时候测试的过程中会出现找不到conf文件夹(报错)  还有需要flink依赖的hadoop包需要放到lib下
  
  上官网上下载包,把conf放到这个位置上
  
  
  依赖包放到lib下

• 测试

  1) 启动yarn-session

  ./yarn-session.sh -yn 4 -yjm 1024 -ytm 1024

  2) 执行任务

  ./flink run  /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.6.76:8020/Test/README.txt --output hdfs://192.168.6.76:8020/Test/out

  从yarn上看到任务已执行

跳转到Flink web ui

 

最后的结果