1.10 | 1.11 |
---|---|
自己编译 hadoop(“flink-shaded-hadoop-*” jars),不需要配置环境变量。容易发生版本冲突 | 直接引用集群中的hadoop包,解决冲突问题,但是需要配置一下环境变量 |
flink-csv 和flink-json 需要下载 jar | flink-csv和 flink-json 不需要下载 jar包,已经在lib 文件夹下了。 |
有 legacyScheduler | 删除了旧版的legacyScheduler |
有 legacyScheduler | 删除了旧版的legacyScheduler |
有slave file name | 因为觉得slave有歧视意味,在1.11 中把slaves更改为worker,以前版本中的setups 相关的start-cluster.sh 和stop-cluster.sh 需要更改名字 |
针对 flink docker 集成的改进 | |
全新的JobManager Memory Model | |
table api 的包的结构的变化 | |
删除了streamTableSink,batchTableSink | |
更正了一些bug问题,tabkeEnvironment.execute() streamTableEnvironment.execute()ExecutionEnvironment.execute()batchTableEnvironment.execute() | |
删除kafka0.8/0.9 connectors | |
删除了ES 2.x connector | |
删除了KafkaPartitioner | |
添加了 fs.allowed-fallback-filesystems 配置选项。 | |
setTolerableCheckpointFailureNumber(…) orsetFailTaskOnCheckpointError(…) 这两个选项可以忽略同步失败 | 检查点同步失败处理,1.10 的两个设置都可以影响同步失败处理。 |
checkpoint 的超时,会被视为正常的检查点故障 | |
删除 getCheckpointLock,TypeSerializerSnapshot,isOuterSnapshotCompatible,TimestanpExtractor,ListCheckpointed ,RuntimeContext#getFoldingState(), OperatorStateStore#getSerializableListState() and OperatorStateStore#getOperatorState() | |
取消了 从flink-streaming-java 到 flink-client的依赖 | |
pyFlink 中加入了一些数据类型异常处理 | |
1.11对hive得支持更好,然后有个cdc直接对接binlog得变化 | |
1.11可以从kafka直接写到hive |
参考链接:官方文档,只是整理了一下,目前我需要关注的点
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/release-notes/flink-1.11.html
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/formats/canal.html
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_streaming.html