- 博客(22)
- 收藏
- 关注
RSS订阅原创 FlinkSql系列8之TopN&去重
FlinkSql系列8之TopN&去重文章目录FlinkSql系列8之TopN&去重前言一、TopN二、WindowTopN三、Deduplication总结前言本次主要记录FLinkSql中的TopN以及去重。一、TopN建立数据源表CREATE TABLE source_table5(--姓名`name` STRING,--班级`class_id` BIGINT,--分数`score` BIGINT,--事件时间`row_time` TIMESTAMP(3)
2022-04-07 15:52:16
2226
原创 FlinkDataStream的Join记录
FlinkDataStream的Join记录文章目录FlinkDataStream的Join记录前言一、TumbleJoin二、SlideWindowJoin总结前言本次主要记录flink javaapi实现DataStream的双流的join.一、TumbleJoinpublic class TestTumbleJoin { public static void main(String[] args) throws Exception{ //1.创建流式执行环境
2022-04-06 21:06:32
1933
原创 Flink自定义Sink系列之FileSink
Flink自定义Sink系列之FileSink文章目录Flink自定义Sink系列之FileSink前言一、编写获取FileSInk工具类1.1自定义StringEncoder1.2自定义注解用于筛选字段1.3自定义实体类1.4自定义泛型Encoder二、String测试代码2.1 主体测试类2.2 测试结果三、People测试代码3.1 主体测试类3.2 测试结果总结前言本次主要记录flink官网中提到的FileSink的简单实现一、编写获取FileSInk工具类这里我们编写两个一个是Strin
2022-04-05 17:01:33
2979
2
原创 Flink自定义connector官方例子记录
Flink自定义connector官方例子Socket文章目录Flink自定义connector官方例子Socket前言具体步骤1.整体概括运行时Planning 计划阶段Factory阶段2.以Test例子Debug记录2.02.12.22.42.52.62.72.82.9总结前言本次记录flinksql的官方记录的socket自定义连接器的实现。具体步骤1.整体概括如图：接触一个完整的connector的总共大概分为三个主要步骤运行时这里其实可以从这里先接入，我们需要在运行时提供出
2022-04-04 16:28:11
1739
1
原创 FLINKSQL自定义UDF函数3之自定义累加器
FLINKSQL自定义UDF函数3之自定义累加器文章目录FLINKSQL自定义UDF函数3之自定义累加器前言一、自定义String List累加器创建累加器类创建AggregateFunction注意点二、自定义泛型累加器1.创建累加器创建AggregateFunction注意点总结前言这里记录自定义累加器得实现以及过程中得问题。一、自定义String List累加器创建累加器类public class ListAccumulator implements Accumulator<Str
2022-04-01 21:30:50
859
原创 FlinkSql系列7之Temporal Join
FlinkSql系列7之Temporal Join文章目录FlinkSql系列7之Temporal Join@[TOC](文章目录)前言一、Temporal Join是什么？二、测试步骤1.使用flinkcdc建立要Temporal Join的表2.建立kafka数据源表3.关联查询测试总结前言本次记录一下Temporal Join的具体实践用法一、Temporal Join是什么？Temporal Join又可以叫快照Join ,在实时的场景里面，比如说对于一本书的价格可能在一小时前是10，但是
2022-04-01 10:44:40
4047
原创 FLINKSQL自定义UDF函数2之在FlinkSqlClient注册并测试
FLINKSQL自定义UDF函数2之在FlinkSqlClient注册并测试文章目录FLINKSQL自定义UDF函数2之在FlinkSqlClient注册并测试前言一、编写UDF函数，并且打包二、注册测试总结前言在java程序里面我们可以通过table或者sqlAPI来调用我们的自定义UDF函数，但是对于Flink sqlclient我们该如何使用我们自定义的UDF呢？一、编写UDF函数，并且打包打包完成我们需要放到我们使用SqlCient的flink的lib下，然后要注意重启flink集群
2022-03-31 15:06:12
2818
原创 FlinkSql系列6之 Interval Join
FlinkSql系列6之 Interval Join前言本次我们来学习flinksql的Interval Join,这个方式主要是针对两个流在一定时间区间内的join,支持事件时间和处理时间，而且这个流每次只会产生一条数据，是一个完全的追加流。一、Interval Join是什么？Interval Join 可以让⼀条流去 Join 另⼀条流中前后⼀段时间内的数据。1.1 Inner Interval Join只有两条流中的满足时间区间符合，并且满足其他的join条件，这时候才会匹配的上并
2022-03-30 16:49:29
4802
原创 FlinkSql系列5之 Regular Join
FlinkSql系列5之 Regular Join文章目录FlinkSql系列5之 Regular Join前言一、Regular Join是什么？1.1 Inner Join1.2 Left Join1.3 Right Join1.4 Full Join二、实际测试记录1.Inner Join2.Left Join3.Right Join4.Full Join总结前言join，对于我们无论是实时数仓还是离线数仓都是不可缺少的一部分，我们经常需要涉及到多条流的join来扩充字段，筛选字段等。一、R
2022-03-30 15:15:50
1785
原创 FLINKSQL自定义UDF函数1之collect_list&collect_set
FLINKSQL自定义UDF函数1之collect_list&collect_set`文章目录FLINKSQL自定义UDF函数1之collect_list&collect_set`前言一、collection_list1.编写CollectList类注意点1.1类型的输入1.2方法1.3测试结果展示2.collection_set注意点1.1这里我使用Set直接作为ACC有问题1.2 测试结果总结前言由于flink里面没有hive的collection_list以及collectio
2022-03-30 10:42:10
4126
原创 FlinkSql系列4之OVER聚合
系列文章目录前言本节主要记录学习flinksql中的OVER聚合的使用，我们知道，对于GROUP BY来说，我们只能保留我们分组的字段，其他的字段是无法保留的，而对于OVER聚合来说我们可以实现保留全部的字段，不过在实际应用中，这个并不常用。一、Over聚合实际测试1.时间区间聚合创建源表CREATE TABLE source_table3(--订单id`order_id` BIGINT,--产品`product` BIGINT,--金额`amount` BIGINT,--支付时
2022-03-30 10:01:40
1751
1
原创 FlinkSql系列3之窗口聚合和GROUP BY的相关区别
FlinkSql系列3之窗口聚合和GROUP BY的相关区别文章目录FlinkSql系列3之窗口聚合和GROUP BY的相关区别前言一、window group aggregation & group by key总结前言使用window然后按照窗口可以进行聚合，但是其实使用group by单纯也是可以实现的，但是两者还是有很大区别的。一、window group aggregation & group by keyCREATE TABLE source_table(--维度数
2022-03-29 17:56:18
1542
原创 FlinkSql系列2之语法糖使用
FlinkSql系列2之语法糖使用文章目录FlinkSql系列2之语法糖使用前言一、grouping sets二、rollup三、cube计算总结前言本次主要学习flinksql中的window TVF模式下的语法糖的使用，简化我们一些写法！一、grouping sets创建源表CREATE TABLE source_table2(--年龄维度`age` STRING,--性别维度`sex` STRING,--用户id`user_id` BIGINT,--事件时间`rowtim
2022-03-29 16:05:32
446
原创 FlinkSql系列1之窗口聚合
FlinkSql之窗口聚合文章目录FlinkSql之窗口聚合前言一、窗口聚合的分类二、窗口实际案例与实践2.1.滚动窗口（TUMBLE）group window aggregationwindow tvf方案（只支持Streaming）2. 2.测试运行2.3 滑动窗口（HOP）group window aggregationwindow tvf方案2.4 测试结果2.5 Session窗口（Session）2.6 测试结果2.7 渐进式窗口（CUMULATE）2.8 测试结果总结前言使用flink
2022-03-29 12:50:12
1873
1
原创 多线程系列2之线程中断
多线程之线程中断文章目录多线程之线程中断前言一、几个案例二、两种最佳实践1.传递中断（优先选择）2.恢复中断三、Volatile标志位的不适当场景总结前言线程的优雅中断是一个需要关注的问题，本次记录下学习的情况一、几个案例public class InteruptThread1 { public static void main(String[] args) throws InterruptedException { Thread thread = new Thread(
2022-03-28 22:41:35
143
原创 多线程系列1
多线程之线程的创建前言我们都知道线程的创建有一些方法，本次就记录下线程的创建的一些想法一、使用Runnable接口public class RunnableThread implements Runnable{ @Override public void run() { System.out.println("用Runnable实现线程!!!"); } public static void main(String[] args) {
2022-03-28 20:57:47
74
原创 Flink自定义Sink系列2
Flink自定义Sink系列之JDBC文章目录Flink自定义Sink系列之JDBC前言一、代码如下总结前言使用flink的官方JDBC连接器创建数据库的连接Sink一、代码如下代码如下（示例）：public class JDBCSink { public <T> SinkFunction<T> getSinkFunction(String sql){ return JdbcSink.sink(sql, ne
2022-03-28 20:41:50
2319
原创 Flink自定义Sink系列1
Flink自定义Sink系列之PHOENIX文章目录Flink自定义Sink系列之PHOENIX前言一、代码实现总结前言自定义一个Sink方法实现SinkFunction一、代码实现public class HbaseSink<T> extends RichSinkFunction<T> { public Connection connection=null; @Override public void open(Configuration p
2022-03-27 22:29:24
1202
原创 Flink-Exactly-once一致性系列实践2
Flink-Exactly-once一致性系列实践2 这次是实现Kafa->mysql的记录哦
2022-03-25 21:00:31
1962
原创 Flink-Exactly-once一致性系列实践1
Flink-Exactly-once系列实践-KafkaToKafka文章目录Flink-Exactly-once系列实践-KafkaToKafka一、Kafka输入输出流工具类二、统计字符个数案例三、消费者消费kafka的事务数据总结与可能出现的问题一、Kafka输入输出流工具类代码如下（示例）：//获取kafkaStream流 public static <T> DataStream<T> getKafkaDataStream(ParameterTool p
2022-03-24 22:07:34
1099
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人