Flink学习笔记
文章平均质量分 84
一直流浪~
这个作者很懒,什么都没留下…
展开
-
03. Flink 集群部署
下载地址:https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz。准备三台虚拟机,一台作为主节点部署 JobManager,然后三台机器分别部署 TaskManager。(1)修改配置 /usr/local/flink-1.17.0/conf/flink-conf.yaml。(1)下载 Flink 安装包,上传到 /root/software 路径。(2)解压到/usr/local。原创 2024-05-20 01:33:05 · 808 阅读 · 0 评论 -
02. Flink 快速上手
pom文件:2、需求批处理基本思路:先逐行读取文本,在根据空格进行单词拆分,最后再去统计每个单词出现的频率。(1)数据准备在工程目录下新建文件夹input,新建文本words.txt。文件输入:2.1 批处理代码编写(使用DataSet API实现)运行结果:代码编写(使用DataStream API实现,读取文件属于有界流)执行结果:前面的编号是并行度,线程数。(1)使用 netcat 监听7777端口,建立stream流安装 netcat监听 7777 端口(2)代码编写(使用Data原创 2024-05-19 18:49:50 · 327 阅读 · 0 评论 -
01. Flink 简介
Spark数据模型:Spark 采用 RDD 模型,Spark Streaming的DStream 实际上也就是一组组小批数据RDD 的集合Spark运行时架构:Spark 是批计算,将 DAG 划分为不同的 stage,一个完成后才可以计算下一个。Flink 数据模型:Flink 基本数据模型是流数据,以及事件(Event)序列。Flink 运行时架构:Flink 是标准的流执行模式,一个事件在一个节点处理完后可以直接发往下一个节点进行处理。原创 2024-05-19 18:49:15 · 454 阅读 · 0 评论