第一次向线上提交flink任务遇到的一堆坑

flink版本

flink1.7.0_scala2.12.tar.gz

 

本项目包括内容

1.从kafka消费，结果写入kafka

2.中间有部分数据存入redis

 

问题描述

开始我没有注意scala版本问题，在pom中flink用的1.7.0，scala用的2.11.0，idea设置的scala环境也是2.11.0

在本地编译运行完全正常，然后使用build artifacts打出一个包含所有依赖jar的肥肥的jar包，有97M，之所以要包含依赖jar包，是因为测试的flink master机器上还没有装maven。之所以我没有在意scala版本问题，是因为我之前调试spark1.2.0用的都是scala2.11，那个时候我试过scala2.12，因为编译报错，所以我一直认为scala2.12对分布式框架支持的不好。所以我理所当然的选择scala2.11。本地运行良好，所以我自信满满的将程序提到flink集群上。

 

逐步踩过的坑

1.上传正常，启动之后，立马报错，无法读取到jar包内的properties文件

改完之后立马正常

 

2.然后继续遇到第二个问题

而且还直接提示到代码哪一行

我的第一想法是foreach用法不对，改成map(), 改完编译上传仍然报错

第二想法是用for(i <- items){} 这种方式遍历scala数组，改完编译上传仍然报错

然后我又尝试了line.split(splitter, 100), 这么改的原因就不介绍了，仍然报错

然后开始百度

好几篇文章帖子是scala版本问题，一篇文章提到要用scala2.12, 然后我将idea和pom的scala都改成scala2.12, 编译报错。然后继续找，一篇文章提到用scala2.11.8可以解决问题，然而，还是报错。无奈啊，搞了两个多小时了。

然后我问同事，有没有遇到过这个问题，他说我用的scala2.12，而且pom中所有用到scala的地方都改成2.12，然后我就对着阿里云仓库一个一个改，改完之后编译打包上传，这个问题消失了，因为pom文件太长，我粘贴在了文章结尾。

 

3.上面的问题解决之后，新的问题又出现了

redis连不上，然后我看了pom中跟redis有关的包，确实是scala2.11，但我到仓库中确实找不到2.12，难道这点版本差就能直接redis连不上，中间换了好几次redis-client包，没有一个能解决, 夜深了睡觉。

第二天早上我登上flink master机器，telnet redis_ip port, 登不上，ping一下，通信正常。

去问同事，同事淡淡的说，master是内网地址中的机器，如果访问redis必须用redis对应的内网ip，以10开头的。自己本地的机器虽然连着公司的wifi, 但也算是外网，访问redis机器必须用redis对应的外网ip，在master上用telnet内网，果然连接成功。然后在配置中将redis地址改一下，打包上传，程序正常运行。

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cheetah</groupId>