weixin_46155444的博客

文章目录Flink 流处理 API1.EnvironmentgetExecutionEnvironmentcreateLocalEnvironmentcreateRemoteEnvironmentSource2.从集合读取数据从文件读取数据读kafka 的数据自定义 SourceTransformmapflatMapFilterKeyBy滚动聚合算子（Rolling Aggregation）reduceSplit 和 SelectConnect 和 CoMapUnion3.支持的数据类型4.实现 UDF 函

Flink快速上手1.在IDEA创建maven工程FlinkTutorial2.在pom.xml中添加依赖和maven插件 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <v

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层 api其它特点对比sparkstreamingflink概述Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规来执行计算。Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架flink应用场景为什么选择flink流数据更真实地反映

文章目录Flink集群配置flink-local解压安装包配置环境变量启动查看进程Flink-standalone模式解压安装包配置环境变量分发环境变量修改配置文件分发配置文件启动集群Flink on yarnSession-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件启动session运行自带wordcount程序关闭sessionPer-Job-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件Flink集群配置flink-local