小白的大数据之旅的博客

DataStream API是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。具体来说，代码基本上都由以下几部分构成：​上图就是Flink程序的基本构造，获取执行环境就是代码中env获取执行环境，然后需要有数据源来读取数据，读取完数据之后需要通过一些算子进行对数据的进一步操作，然后进行输出，最后需要使用Execute来执行程序。

1、slot特点：1）均分隔离内存，不隔离CPU2）可以共享：同一个job中，不同算子的子任务 才可以共享同一个slot，同时在运行的前提是，属于同一个slot共享组，默认都是 default2、slot数量与并行度的关系1）slot是一种静态的概念，表示最大的并发上限并行度是一种动态的概念，表示实际运行占用了几个2）要求：slot数量 >= job并行度（算子最大并行度）Job才能运行注意：如果是yarn模式，会动态申请TaskManager。

之前命令行提交flink程序的时候，需要-m指定要提交到的JobManager,例如hadoop102:8081,但是yarn模式下是不需要手动指定的，yarn会自动指定，如果想手动指定的话，在申请yarn session会话的时候，下面这个就是jobManager的地址，每次申请yarn session的时候，地址都是不一样的。在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群。这里我们所提到的部署模式，相对是比较抽象的概念。

Flink集群通过多个角色的协同工作，实现了高效、可靠的数据流处理。每个角色都承担着特定的职责，共同确保了作业的顺利执行和集群的稳定运行。

定义：Socket（套接字）是一个编程接口（API），它提供了端到端的通信服务。在网络通信中，一个 Socket 可以视为一个 IP 地址和端口号的组合，用于唯一标识一个网络通信进程。类型：Socket 主要有两种类型：流式 Socket（SOCK_STREAM）和数据报 Socket（SOCK_DGRAM）。流式 Socket 基于 TCP 协议，提供面向连接的、可靠的数据传输服务；数据报 Socket 基于 UDP 协议，提供无连接的、尽最大努力的数据传输服务。

Flink是一个开源的流处理框架，用于在无界和有界数据流上进行有状态的计算。它提供了低延迟、高吞吐量的数据流处理能力，并支持事件时间语义和灵活的窗口操作。Spark Streaming是Apache Spark的一个子模块，用于处理实时数据流。它将实时数据流转换为一系列小的RDD（弹性分布式数据集）批次，并对其进行处理。