cdh6 flink 安装

flink可以做为批处理，也可以流处理的工具。功能根spark差不多，不过据说比spark强大。据说天猫双11，就用的这玩意。

 

一，创建flink parcel

1，下载flink parcel

查看复制打印?

1. # git clone https://github.com/pkeropen/flink-parcel.git  

2，配置flink-parcel.properties

查看复制打印?

1. # vim flink-parcel/flink-parcel.properties   
2.   
3. #FLINK 下载地址  
4. FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz  
5.   
6. #flink版本号  
7. FLINK_VERSION=1.9.1  
8.   
9. #扩展版本号  
10. EXTENS_VERSION=BIN-SCALA_2.12  
11.   
12. #操作系统版本，以centos为例  
13. OS_VERSION=7  
14.   
15. #CDH 小版本  
16. CDH_MIN_FULL=5.2  
17. CDH_MAX_FULL=6.3.2  
18.   
19. #CDH大版本  
20. CDH_MIN=5  
21. CDH_MAX=6  

3，生成parcel，csd文件

查看复制打印?

1. # ./flink-parcel//build.sh parcel  
2. # ./flink-parcel//build.sh csd_on_yarn  
3.   
4. [root@bigserver1 flink-parcel]# ll  
5. 总用量 240636  
6. -rwxr-xr-x 1 root root      5863 1月  21 09:59 build.sh  
7. drwxr-xr-x 6 root root       142 1月  21 10:09 cm_ext  
8. drwxr-xr-x 4 root root        29 1月  21 10:16 FLINK-1.9.1-BIN-SCALA_2.12  
9. drwxr-xr-x 2 root root       121 1月  21 14:55 FLINK-1.9.1-BIN-SCALA_2.12_build   //parcel文件目录，新生成的  
10. -rw-r--r-- 1 root root 246364329 9月  30 15:20 flink-1.9.1-bin-scala_2.12.tgz  
11. drwxr-xr-x 5 root root        53 1月  21 10:44 flink_csd_build  
12. drwxr-xr-x 5 root root        53 1月  21 09:59 flink-csd-on-yarn-src  
13. drwxr-xr-x 5 root root        53 1月  21 09:59 flink-csd-standalone-src  
14. -rw-r--r-- 1 root root      8259 1月  21 10:44 FLINK_ON_YARN-1.9.1.jar    //csd文件，新生成的  
15. -rw-r--r-- 1 root root       347 1月  21 10:34 flink-parcel.properties  
16. drwxr-xr-x 3 root root        85 1月  21 09:59 flink-parcel-src  
17. -rw-r--r-- 1 root root     11357 1月  21 09:59 LICENSE  
18. -rw-r--r-- 1 root root      4334 1月  21 09:59 README.md  

在这里，我并没有使用Cloudera Data Flow，因为是收费，60天的试用期。在网上看了一下，很多文章讲的是Cloudera Data Flow。但是没有下载地址。现在提供出来。

 

https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

https://archive.cloudera.com/csa/1.0.0.0/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel

https://archive.cloudera.com/csa/1.0.0.0/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha

https://archive.cloudera.com/csa/1.0.0.0/parcels/manifest.json

 

二，cdh6整合flink

1，配置nginx

查看复制打印?

1. # yum install nginx  
2. # vim /etc/nginx/conf.d/cloudera.conf //nginx配置  
3. server  
4. {  
5.  listen 80;  
6.  server_name bigserver1;  
7.  root /var/www/html;  
8.  autoindex on;  
9.  autoindex_exact_size off;  
10.  autoindex_localtime on;  
11.  charset utf-8;  
12. }  
13.   
14. # systemctl restart nginx //重启nginx  
15.   
16. # cp -r FLINK-1.9.1-BIN-SCALA_2.12_build /var/www/html/flink1.9  

2，cloudera manager 配置flink parcel

flink parcel 配置

flink parcel 地址

3，csd文件到相应目录

查看复制打印?

1. # cp FLINK_ON_YARN-1.9.1.jar /var/www/html/flink1.9/  
2. # cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/   
3.   
4. # systemctl restart cloudera-scm-server  //一定要重启  

FLINK_ON_YARN-1.9.1.jar copy到二个地方，一个cloudera-scm-server所在机器的/opt/cloudera/csd/，这个是必须的。还有一个nginx所在机器的，根parcel文件所在的目录相同。

4，激活flink

flink 激活

一定要重启，重启完了后，检查新parcel，flink才会出现，然后下载，分配，激活。

5，添加flink服务

cdh 添加 flink 服务

cdh 添加 flink 服务

6，自定义角色

flink 自定义角色

7，审核更改

flink 审核更改

在这里要注意：

security.kerberos.login.keytab
security.kerberos.login.principal

这二个值，要置为空，上图中没有截出来。

8，下载flink-shaded-hadoop

查看复制打印?

1. # /opt/cloudera/parcels/FLINK/lib/flink/lib  
2. # wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-7.0/flink-shaded-hadoop-2-uber-2.6.5-7.0.jar  
3.   
4. # scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar bigserver2:/opt/cloudera/parcels/FLINK/lib/flink/lib  
5. # scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar bigserver3:/opt/cloudera/parcels/FLINK/lib/flink/lib  
6. # scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar bigserver4:/opt/cloudera/parcels/FLINK/lib/flink/lib  
7. # scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar bigserver5:/opt/cloudera/parcels/FLINK/lib/flink/lib  
8.   
9. # export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib  

如果不做这步操作，flink启动不起来，strerr.log会报以下错。

[21/Jan/2020 16:40:09 +0000] 27087 MainThread redactor     ERROR    Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json, directory: /run/cloudera-scm-agent/process/2657-flink_on_yarn-FLINK_YARN

9，启动成功

flink 启动成功

查看复制打印?

1. # ./flink run -m yarn-cluster -yn 1 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://bigdata1/test/word --output hdfs://bigdata1/test/word_res  
2. 

 

flink 任务列表

任务列表已有，到些整合完成