flink 1.10 和 最新发版的1.11区别

1.101.11
自己编译 hadoop(“flink-shaded-hadoop-*” jars),不需要配置环境变量。容易发生版本冲突直接引用集群中的hadoop包,解决冲突问题,但是需要配置一下环境变量
flink-csv 和flink-json 需要下载 jarflink-csv和 flink-json 不需要下载 jar包,已经在lib 文件夹下了。
有 legacyScheduler删除了旧版的legacyScheduler
有 legacyScheduler删除了旧版的legacyScheduler
有slave file name因为觉得slave有歧视意味,在1.11 中把slaves更改为worker,以前版本中的setups 相关的start-cluster.sh 和stop-cluster.sh 需要更改名字
针对 flink docker 集成的改进
全新的JobManager Memory Model
table api 的包的结构的变化
删除了streamTableSink,batchTableSink
更正了一些bug问题,tabkeEnvironment.execute() streamTableEnvironment.execute()ExecutionEnvironment.execute()batchTableEnvironment.execute()
删除kafka0.8/0.9 connectors
删除了ES 2.x connector
删除了KafkaPartitioner
添加了 fs.allowed-fallback-filesystems 配置选项。
setTolerableCheckpointFailureNumber(…) orsetFailTaskOnCheckpointError(…) 这两个选项可以忽略同步失败检查点同步失败处理,1.10 的两个设置都可以影响同步失败处理。
checkpoint 的超时,会被视为正常的检查点故障
删除 getCheckpointLock,TypeSerializerSnapshot,isOuterSnapshotCompatible,TimestanpExtractor,ListCheckpointed ,RuntimeContext#getFoldingState(), OperatorStateStore#getSerializableListState() and OperatorStateStore#getOperatorState()
取消了 从flink-streaming-java 到 flink-client的依赖
pyFlink 中加入了一些数据类型异常处理
1.11对hive得支持更好,然后有个cdc直接对接binlog得变化
1.11可以从kafka直接写到hive

参考链接:官方文档,只是整理了一下,目前我需要关注的点
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/release-notes/flink-1.11.html
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/formats/canal.html
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_streaming.html

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值