[1124]flink上下文StreamExecutionEnvironment

概览 | Apache Flink

Flink : 1.12-SNAPSHOT API

StreamExecutionEnvironment的获取

概述里介绍获得StreamExecutionEnvironment方法有三个

StreamExecutionEnvironment.getExecutionEnvironment();
 
StreamExecutionEnvironment.createLocalEnvironment();
 
StreamExecutionEnvironment.createRemoteEnvironment(String host, int port, String... jarFiles);

• getExecutionEnvironment()

如果是在idea里面执行，会使用本地环境，在命令行里面执行jar文件，会使用当前的执行环境

• createLocalEnvironment()

使用本地环境

• createRemoteEnvironment(String host, int port, String… jarFiles)

使用远程环境，参数主机地址、端口号、需要提交的jar包

消息语义概述,

在分布式系统中，构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka中，broker可能会crash，在producer推送数据至topic的过程中也可能会遇到网络问题。根据producer处理此类故障所采取的提交策略类型，我们可以获得不同的语义：

• at-most-once：如果在ack超时或返回错误时producer不重试，则该消息可能最终不会写入Kafka，因此不会传递给consumer。在大多数情况下，这样做是为了避免重复的可能性，业务上必须接收数据传递可能的丢失。
• exactly-once：即使producer重试发送消息，消息也会保证最多一次地传递给最终consumer。该语义是最理想的，但也难以实现，这是因为它需要消息系统本身与生产和消费消息的应用程序进行协作。例如如果在消费消息成功后，将Kafka consumer的偏移量rollback，我们将会再次从该偏移量开始接收消息。这表明消息传递系统和客户端应用程序必须配合调整才能实现excactly-once
• at-least-once：如果producer收到来自Kafka broker的确认（ack）或者acks = all，则表示该消息已经写入到Kafka。但如果producer ack超时或收到错误，则可能会重试发送消息，客户端会认为该消息未写入Kafka。如果broker在发送Ack之前失败，但在消息成功写入Kafka之后，此重试将导致该消息被写入两次，因此消息会被不止一次地传递给最终consumer，这种策略可能导致重复的工作和不正确的结果。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000, CheckpointingMode.AT_LEAST_ONCE);//每个5秒执行一次
env.setParallelism(2);//并行度2

参考：https://blog.csdn.net/GrassEva/article/details/120529303
https://blog.csdn.net/weixin_42311821/article/details/90598061