Apache Flink
文章平均质量分 73
一个数据流处理平台
编程写手
路漫漫其修远兮,吾将上下而求索!
展开
-
Apache Flink之简单的使用Table API访问mysql数据库
1. 声明当前的内容主要为记录在学习Apache Flink中遇到的问题和主要记录访问msyql实现sql查询的基本操作主要内容为:使用Flink操作的SQL API访问mysql数据库pom文件<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-walkthrough-common_${scala.bina原创 2021-06-12 16:45:58 · 3429 阅读 · 3 评论 -
Apache Flink:使用事件时间方式处理工业数据和延迟数据
1.声明当前内容主要为测试和使用事件时间,使用自定义的时间作为水印,主要为模拟之用工业的传感器中,默认获取的数据可能在多个工厂中的时间到来不一致,Flink处理的为工厂中的传递的时间可能存在延迟的数据,延迟的数据需要处理(可能是网络原因或者其他原因)主要内容为:收集当前的延迟时间,显示延迟数据使用事件窗口处理数据,处理当前数据2.基本demopom依赖和ComputerTemperature实体类参考前面的博文1.创建时间会变化的数据源Source(就是简单的变化)import原创 2021-06-06 16:31:23 · 1040 阅读 · 5 评论 -
Apache Flink:测试使用reduce增量聚合和windowAll操作
1.声明当前内容主要为测试和使用Apache Flink中的增量聚合操作,当前内容主要借鉴:Flink官方文档主要内容有使用Flink的增量聚合分析增量聚合操作windowAll操作pom依赖:参考前面的文章2.增量聚合操作的demo数据源参考前面博文中的ComputerTemperature这个实体类import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.streami原创 2021-06-06 09:15:22 · 1411 阅读 · 0 评论 -
Apache Flink:使用countWindow(按照间隔步数统计)和window(按照间隔时间统计)
1.声明当前内容主要为本人学习和使用Flink,主要为window的一些操作,当前内容主要借鉴:官方GitHub的Demo和官方开发文档内容主要为:编写指定间隔步数内的最大温度显示(使用countWindow)编写指定间隔时间内的最大温度显示(使用window)分析两个的区别分析类的区别使用Flink本地模式基本pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.原创 2021-06-05 18:23:41 · 1173 阅读 · 1 评论 -
Apache Flink:使用Apache Kafka作为Sink的简单demo(数据结果存放地方)
1. 声明当前内容主要为测试和使用Flink,将数据读取处理后放入到kafka的topic中主要内容:使用Flink读取文本内容过滤读取的内容将读取的内容放入kafka中2.基本demo1.pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.13.0</flink.versi原创 2021-05-23 14:43:55 · 709 阅读 · 0 评论 -
Apache Flink:使用Apache Kafka作为DataSource的简单demo
1. 声明当前内容主要为测试和使用Apache Kafka作为Flink的DataSource的最基本的demo当前内容主要参考:Flink官方文档,Kafka官方文档其中使用kafka发送消息的参考:博文当前内容为使用Apache Flink接收Kafka的topic中的消息作为DataSource简单的print当前接收的消息2. 基本pom依赖核心为:flink-connector-kafka_2.12<properties> <project.build.原创 2021-05-23 12:52:51 · 339 阅读 · 0 评论 -
Apache Flink:使用本地的Flink方式执行作业(调试使用)
1.声明当前内容主要为本人测试和使用Apache Flink,采用本地的方式完成Flink的基本作业(非远程打包jar提交任务)当前内容参考:Apache Flink官方文档当前内容为:本地运行方式运行任务读取文本文件并打印出来操作集合数据2.基本pom依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.versi原创 2021-05-23 10:09:58 · 8213 阅读 · 0 评论 -
Apache Flink:简单的Java工作Demo(基于官方demo)
当前开发环境:eclipse、JDK1.8、Apache Flink1.13.01.声明当前内容主要为本人学习,内容主要来源官方文档当前内容主要为使用maven方式创建基于官方欺诈检测的demo修改数据来源为:随机数自定义的Sink来处理收集数据将maven项目打包并上传到flink中并执行查看最后的数据2.按照官方方式创建maven项目并实现修改1.使用官方命令方式创建maven项目(没有换行) mvn archetype:generate -DarchetypeGroupId原创 2021-05-16 11:19:35 · 5424 阅读 · 1 评论 -
CentOS7:启动Apache Flink
1.声明当前内容主要用于本人学习Apache Flink,内容主要借鉴Apache Flink的官方文档需要环境:JDK1.8主要内容为:下载和在CentOS7中启动Apache Flink开放端口和访问Web UI版的Apache Flink2.下载启动Apache Flink1.下载(flink-1.13.0-bin-scala_2.11.tgz),地址:Apache Flink2.将下载的包上传到Linux中3.解压:tar -xvif flink-1.13.0-bin-sca原创 2021-05-16 10:47:13 · 361 阅读 · 0 评论