weixin_43742510的博客

原创 hive的space和posexplode函数

小李投了A和B两种类型的股票，收益为天,需求：计算小李截止到每日的累计收益。space函数：例：产生长度为5的空字符串。投资类型 开始时间 结束时间 每日收益。投资类型 日期 累计收益。

原创 java之日期工具类

【代码】java之日期工具类。

原创 flink之topN的多个解法

方法三：（最优解）keyby url，开窗求各自url浏览量（该代码还有一点瑕疵：求top2的过程中，如果10s只有一个url或者没有url访问，get（i）就会出现空指针异常，可自行解决）方法四：自己造窗口（自己算窗口开始时间和定时器触发时间）需求改动一下：求每5s热门top2访问的url。方法一：在keyBy之前开窗（使用ProcessAllWindowFunction）方法二：keyBy一个常量再开窗（使用KeyedProcessFunction）

原创 flink之自定义Sink（写入redis为例）

官网有直接写入redis的依赖，我们不用，用自定义sink的方式写入redis。通过富函数创建和关闭连接。

原创 flink之通过jdbc将数据写入mysql

【代码】flink之通过jdbc将数据写入mysql。

原创 flink之重分区算子

当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。//todo 1.获取流的执行环境//todo 2.从端口读取数据//todo 3.使用map将读取的数据转为WaterSensor@Override//将上游数据打印，看看数据去往上游数据的哪个分区（上游有2个分区）result.print("原始数据").setParallelism(2);

原创 flink之max与maxBy的区别

/聚合算子需要做keyBy变成keyedStream之后才能调用。

原创 flink之keyBy源码解析

原创 flink之分区和分组的区别（模拟上游两个分区向下游四个分区发送数据）

总结：相同key的数据必然在同一个分区，一个分区中可能有多个不同的key，一个分组中的key必然是相同的，一个分区可能有多个不同的分组，分组是逻辑上的划分，分区是物理上的划分。

原创 flink之自定义Source

【java代码】flink之自定义Source。

原创 kafka生产者和消费者命令行

【代码】kafka生产者和消费者命令行。