![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink从入门到精通
二百四十九先森
这个作者很懒,什么都没留下…
展开
-
Flink入门第十八课:DataStream的数据结构以及Flink的连接操作
1、DataStream 代表一个运行在多个分区上的并行流,转换操作都是逐条的。 可以从 StreamExecutionEnvironment 或者env.addSource(SourceFunction) 获得。 常用操作:map(),flatMap(),filter()、rebalance()、 broadcaseted()2、KeyedStream 用来表示根据指定的key进行分组的数据流,执行任何转换操作都将返回DataStream。 可以通过调用D...原创 2022-01-06 17:20:05 · 1550 阅读 · 0 评论 -
Flink入门第十七课:PageView(pv)和UniqueVisitor(uv)的统计
数据文件:用到的数据文件链接:https://pan.baidu.com/s/1uCk-IF4wWVfUkuuTAKaD0w 提取码:2hmu输入beanpackage com.atguigu.networkflow_analysis.beans;public class UserBehavior { public Long userId; public Long itemId; public Integer categoryId; public St原创 2021-10-18 17:37:28 · 538 阅读 · 0 评论 -
Flink入门第十六课:DataStream api在数据延迟下统计热门网页并进行窗口分析
代码package com.atguigu.networkflow_analysis.Ahotpages;import com.atguigu.networkflow_analysis.beans.ApacheEventLog;import com.atguigu.networkflow_analysis.beans.PageViewCount;import org.apache.commons.compress.utils.Lists;import org.apache.flink.ap.原创 2021-09-16 19:35:47 · 253 阅读 · 2 评论 -
Flink入门第十五课:在Table api&Flink sql中使用Flink的自定义函数
package com.atguigu.HUDF;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperat.原创 2021-08-30 17:44:05 · 433 阅读 · 0 评论 -
Flink入门第十四课:Table api&Flink sql中的window操作、时间操作
package com.atguigu.GTable_api_Flink_sql;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.Dat.原创 2021-08-30 10:35:58 · 584 阅读 · 0 评论 -
Flink入门第十三课:从DataStream api过渡到使用Table api&Flink SQL读取数据源计算后写出
1、基于DataStream api的Table api&Flink SQL1、使用Table api必须要添加Flink或者Blink的计划器。2、Flink1.10(含)之前默认使用flink计划器,flink1.11(含)之后默认使用blink计划器。 <!--flink 1.11及之后使用的都是blink的计划器,这儿引入的也是blink的--> <dependency> <groupId>o原创 2021-08-26 20:03:13 · 843 阅读 · 0 评论 -
Flink常见报错汇总[不断更新]
"C:\Program Files\Java\jdk1.8.0_211\bin\java.exe" "-javaagent:G:\SoftwareInstall\idea\IntelliJ IDEA 2019.3.1\lib\idea_rt.jar=58668:G:\SoftwareInstall\idea\IntelliJ IDEA 2019.3.1\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_211\jre.原创 2021-08-26 10:00:52 · 3445 阅读 · 2 评论 -
Flink入门第十二课:DataStream api/Flink sql实现每隔5分钟统计最近一小时热门商品小案例
1、需求&数据用户行为数据不断写入kafka,程序不断从kafka读取数据,每个五分钟统计最近一小时浏览次数最多的热门商品top 5。输入数据:UserBehavior 字段名:userId itemId categoryId behavior timestamp 解释: 用户名 商品id 商品类别id 行为 时间戳 值举例: lily 1715 1464116 pv 1511658000 ..原创 2021-08-25 11:34:50 · 5894 阅读 · 3 评论 -
Flink入门第十一课:Flink的checkpoint状态管理
1、检查点基础 一致性检查点:当所有任务都处理完同一个相同的输入数据时,给所有任务拍一个快照,这个快照就是一致性检查点。它默认不开启。 所有任务都处理完同一个相同的输入数据时,状态由状态后端保存,这些状态对应的元数据由jobmanager保存。 source算子一定要保存状态,因为有些数据处理失败后未成功保存checkpoint,而这些数据已经被source读取了,source不保存状态这部分数据就丢失了。 从一致性检查点恢复的过程: 1、重启应用...原创 2021-08-23 10:36:00 · 575 阅读 · 0 评论 -
Flink入门第十课:借助ProcessFunction api实现定时器小案例和侧输出流小案例
1、ProcessFunction api实现定时器package com.atguigu.FProcessFunctionApi_api;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.api.common.state.ValueState;import org.apache.flink.api.common.state.ValueStateDescriptor;import org.apache.fl...原创 2021-08-19 17:04:41 · 490 阅读 · 0 评论 -
Flink入门第九课:DataStream api的state操作
package com.atguigu.Dstate;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.common.state.*;import org.apache.fli.原创 2021-08-17 11:34:23 · 270 阅读 · 0 评论 -
Flink入门第八课:DataStream api的watermark的相关操作
package com.atguigu.Ctime;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOut.原创 2021-08-16 15:25:11 · 381 阅读 · 0 评论 -
Flink入门第七课:Flink DataStaem Api的Window操作
package com.atguigu.Bwindow;import com.atguigu.Fbeans.SensorReading;import org.apache.commons.collections.IteratorUtils;import org.apache.flink.api.common.functions.AggregateFunction;import org.apache.flink.streaming.api.datastream.DataStream;import.原创 2021-08-13 17:58:57 · 321 阅读 · 1 评论 -
Flink入门第三课:匿名内部类方式&lambda表达式测试flink的map/flatMp/filter
package com.atguigu.Adatastream_api.transformations;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.dat.原创 2021-08-12 10:12:44 · 494 阅读 · 0 评论 -
Flink入门第五课:Flink的分流合流算子&重分区算子
package com.atguigu.Adatastream_api.transformations;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.tuple.Tuple3;impo.原创 2021-08-12 14:41:58 · 548 阅读 · 0 评论 -
Flink入门第四课:flink的增量聚合函数min/max/minBy/maxBy/reduce
匿名内部类方式package com.atguigu.Adatastream_api.transformations;import org.apache.flink.api.common.functions.RichFilterFunction;import org.apache.flink.api.common.functions.RichFlatMapFunction;import org.apache.flink.api.common.functions.RichMapFunction.原创 2021-08-12 10:33:37 · 974 阅读 · 0 评论 -
Flink架构从入门到精通以及Flink的四层Api详细剖析[持续更新]
qqqqqqqqqqqqqq原创 2021-08-10 16:08:22 · 733 阅读 · 0 评论 -
Flink入门第一课:Flink DataStream api实现wordcount
package com.atguigu.Adatastream_api.source;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datas.原创 2021-08-11 21:23:46 · 252 阅读 · 0 评论 -
Flink入门第二课:Flink DataStream api读取各种数据源
一、读取Kafkapackage com.atguigu.Adatastream_api.source;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.原创 2021-08-11 21:29:18 · 818 阅读 · 0 评论 -
Flink入门第六课:Flink DataStream api实现将数据写入Kafka\Redis\ES\JDBC
1、KafkaSink要先加入kafka的连接器依赖。<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></dependency>package com.atg.原创 2021-08-13 10:51:57 · 956 阅读 · 0 评论