![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
清风千雨
大数据,java后端
展开
-
Flink快速使用
Flink快速使用1.快速使用demo1. DataSet WordCount demo (JAVA)2. DataStream WordCount demo (JAVA)3. SQL Batch WordCount demo (JAVA)2.Flink核心概念1. 故障恢复2. 失败重试3. 并行度 1.快速使用demo 1. DataSet WordCount demo (JAVA) public static void main(String[] args) thro原创 2020-11-25 18:36:24 · 441 阅读 · 0 评论 -
Flink运行架构
运行架构1.任务提交流程1)yarn模式2.任务调度原理1)执行图3.worker 和Slots4.forwarding,redistribute(类似spark 宽窄依赖)5.task与operator chains 1.任务提交流程 1)yarn模式 Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMas原创 2020-05-25 22:42:27 · 287 阅读 · 0 评论 -
Flink部署
部署1.standalone模式1)flink/conf/flink-conf.yaml 文件2)修改 /conf/slave文件3)分发到其他节点4)执行程序2.yarn模式1)启动hadoop集群2)启动yarn-session3)执行程序 1.standalone模式 1)flink/conf/flink-conf.yaml 文件 2)修改 /conf/slave文件 3)分发到其他节点 4)执行程序 ./flink run -c com.atguigu.flink.app.BatchWcApp原创 2020-05-25 22:11:43 · 142 阅读 · 0 评论