- 博客(13)
- 收藏
- 关注
RSS订阅原创 Flink Connect、Split、SideOutput 实例
1、Connect合并两个数据流，不是关联。import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.tuple.Tuple3;import org.apache.flink.streaming.api.datastream.DataStreamSource;import
2022-04-25 18:05:12
1857
原创 Flink AggregatingState 实例
AggregatingState介绍AggregatingState需要和AggregateFunction配合使用 add()方法添加一个元素，触发AggregateFunction计算 get()获取State的值需求：计算每个设备10秒内的平均温度import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.
2022-04-22 17:44:50
2486
原创 Flink ReducingState 实例
ReducingState介绍ReducingState是和ReduceFunction配合使用 get() 获取状态的值 add(IN value)方法添加一个元素，触发reduceFunction计算一次需求：输出各设备10s内最大温度import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.Waterma
2022-04-21 11:52:38
1993
原创 Flink ListState 实例
ListState 介绍get()方法获取值 add(IN value)，addAll(List values)方法更新值 update(List values) 用新List 替换 原来的List clear() 清空List，List还存在，但是没有元素需求：每10s输出一次用户行为信息import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.a
2022-04-20 17:51:54
923
1
原创 Flink MapState实例
MapState的方法和Java的Map的方法极为相似，所以上手相对容易。常用的有如下：get()方法获取值 put()，putAll()方法更新值 remove()删除某个key contains()判断是否存在某个key isEmpty() 判断是否为空需求：统计每个用户的行为次数import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.ap
2022-04-20 15:49:16
1389
原创 Flink ValueState 实例
实例1、单词3秒未重复出现则输出该单词import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.s
2022-04-18 17:11:22
1025
1
原创 Flink Trigger实例
1、需求：统计每天的人员出现次数，按天开窗，并且每10s进行一次输出。import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.fl
2022-04-15 19:26:50
807
原创 flink窗口函数ReduceFunction、AggregateFunction、ProcessFunction实例
1、ReduceFunction增量,输入、状态、输出类型相同import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flin
2022-03-02 16:22:19
1379
原创 flink Watermark编程实例
固定时间间隔的watermark生成策略：package com.ss;import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache
2022-03-02 16:12:20
1246
1
原创 数仓分层
1.1 ODS层做了哪些事？1）保持数据原貌，不做任何修改2）压缩采用LZO，压缩比是100g数据压缩完10g左右。3）创建分区表1.2 DWD层做了哪些事？1.2.1 数据清洗（1）空值去除（2）过滤核心字段无意义的数据，比如订单表中订单id为null，支付表中支付id为空（3）将用户行为宽表和业务表进行数据一致性处理select case when a is null then b else a end as JZR, …from A1.2.2 清洗...
2021-01-30 17:09:34
806
3
原创 Flume详述
一、Flume1.概述 flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 移动大量的日志数据用以集中式管理的系统。 是apache的一个顶级项目 系统需求： jdk6以上，推荐java7 2.下载安装flume （1）下载 可以apache官网下载flume的安装包 下载时注意，flume具有...
2018-10-23 15:53:56
222
原创 Flume实例
目录 一、agent1:扇出.. 1二、agent2:扇出-多路复用.. 3三、agent3:processor-failover 5四、agent4:processor-load_balance. 6五、agent5:interceptor 8六、agent6:interceptor-正则匹配.. 10七、agent7:selector-interceptor 1...
2018-10-23 15:43:31
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人