qq_35514685的博客

1、Connect合并两个数据流，不是关联。import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.tuple.Tuple3;import org.apache.flink.streaming.api.datastream.DataStreamSource;import

AggregatingState介绍AggregatingState需要和AggregateFunction配合使用 add()方法添加一个元素，触发AggregateFunction计算 get()获取State的值需求：计算每个设备10秒内的平均温度import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.

ReducingState介绍ReducingState是和ReduceFunction配合使用 get() 获取状态的值 add(IN value)方法添加一个元素，触发reduceFunction计算一次需求：输出各设备10s内最大温度import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.Waterma

ListState 介绍get()方法获取值 add(IN value)，addAll(List values)方法更新值 update(List values) 用新List 替换 原来的List clear() 清空List，List还存在，但是没有元素需求：每10s输出一次用户行为信息import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.a

MapState的方法和Java的Map的方法极为相似，所以上手相对容易。常用的有如下：get()方法获取值 put()，putAll()方法更新值 remove()删除某个key contains()判断是否存在某个key isEmpty() 判断是否为空需求：统计每个用户的行为次数import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.ap

实例1、单词3秒未重复出现则输出该单词import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.s

1、需求：统计每天的人员出现次数，按天开窗，并且每10s进行一次输出。import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.fl

1、ReduceFunction增量,输入、状态、输出类型相同import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flin

固定时间间隔的watermark生成策略：package com.ss;import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apache

1.1 ODS层做了哪些事？1）保持数据原貌，不做任何修改2）压缩采用LZO，压缩比是100g数据压缩完10g左右。3）创建分区表1.2 DWD层做了哪些事？1.2.1 数据清洗（1）空值去除（2）过滤核心字段无意义的数据，比如订单表中订单id为null，支付表中支付id为空（3）将用户行为宽表和业务表进行数据一致性处理select case when a is null then b else a end as JZR, …from A1.2.2 清洗...

Springboot+Spark

一、Flume1.概述    flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 移动大量的日志数据用以集中式管理的系统。    是apache的一个顶级项目    系统需求：        jdk6以上，推荐java7    2.下载安装flume    （1）下载        可以apache官网下载flume的安装包        下载时注意，flume具有...

目录 一、agent1:扇出.. 1二、agent2:扇出-多路复用.. 3三、agent3:processor-failover 5四、agent4:processor-load_balance. 6五、agent5:interceptor 8六、agent6:interceptor-正则匹配.. 10七、agent7:selector-interceptor 1...