![](https://img-blog.csdnimg.cn/20201120231922457.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink入门实战系列
实战主线、极简、全面,来自生产环境的经验分享!创作不易,感谢大家支持!
青瓜先生
极简、授之以渔的解决方案
展开
-
Flink process算子之SideOutput侧输出流
flink Process算子SideOutput侧输出流用法package com.transformimport org.apache.flink.streaming.api.functions.ProcessFunctionimport org.apache.flink.streaming.api.scala._import org.apache.flink.util.Collectorobject OutputSide { case class User(id: String, se原创 2021-01-06 22:31:30 · 500 阅读 · 0 评论 -
Flink Window函数用法之一
flink三种窗口函数(时间窗口函数、计数窗口函数、会话窗口函数)时间窗口函数是整点起,左闭右开时间窗口,默认是早上08:00。如果想统计昨天一天00:00-24:00整点时间,可以使用偏移量设置:window(TumblingEventTimeWindows.of(Time.days(1), Time.hours(-8)))会话窗口不受起点时间限制,可以记录一段间隔时间内发生的事情package com.transformimport org.apache.flink.streaming.ap.原创 2021-01-06 21:48:37 · 477 阅读 · 0 评论 -
Flink入门实战之Sink clickhouse
clickhouse 建表语句// 建数据库CREATE database test_db;// 建MergeTree表CREATE table test_db.test(id Int32, date Date, age Int8)engine=MergeTree()order by id;// 测试插入INSERT into test_db.test values (4, '2020-01-12', 19), (5, '2020-02-13', 3);// 查看SELEC.原创 2021-01-04 00:10:12 · 2468 阅读 · 2 评论 -
Flink 入门实战之Sink elasticSearch7
读取Kafka数据转化为样例类sink espackage com.skinimport java.util.Propertiesimport org.apache.flink.api.common.functions.RuntimeContextimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import o.原创 2020-12-19 11:31:20 · 4128 阅读 · 2 评论 -
Flink transform算子Union多流合并
flink1.11实现union三条流合并两条Kafka流和mysql cdc流进行合并可用于实时维表建模package com.transformimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apache.flink.streamin.原创 2020-12-19 10:49:51 · 1387 阅读 · 1 评论 -
Flink mysql cdc 读取
Flink1.11 读取mysql cdc返回DataStream[(Boolean, Row)],可以根据元组第一个值为True or false判定数据是弃用或者更新插入package com.cdcimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api._import org.apache.flink.table.api.bridge.scala.StreamTableEnvironm.原创 2020-12-05 18:25:31 · 3135 阅读 · 0 评论 -
Flink sql cdc 读取kafka json格式数据
Flink CDC 读取kafka json格式数据package com.com.cdcimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{EnvironmentSettings, Table}import org.apache.flink.table.api.bridge.scala.StreamTableEnvironmentimport org.apache.flink.type.原创 2020-12-05 17:25:07 · 3373 阅读 · 0 评论 -
Flink transform算子详解之一
转换算子map、filter、flatMap、keyBy、sumflink为了每个算子提供函数和函数类两种传参数形式另外函数类分为Function、RichFunction,后一种可以从写open方法实现数据库查询等package com.transformimport java.sql.{Connection, DriverManager, PreparedStatement}import org.apache.flink.api.common.functions.{FilterFunc.原创 2020-12-05 15:47:30 · 337 阅读 · 0 评论 -
Flink 入门实战之七Source自定义读取Mongodb数据
flink自定义SourceRichFunction读取mongodb数据package com.dayimport com.mongodb.BasicDBObjectimport com.mongodb.casbah.Imports.{MongoClient, MongoClientURI, MongoDBObject}import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.ap.原创 2020-12-05 14:31:12 · 2644 阅读 · 6 评论 -
Flink 入门实战之六Source自定义读取mysql数据
自定义Source连接mysql重写SourceRichFunction通过JDBC方式连接Mysql使用预执行语句执行带参数sql语句package com.dayimport java.sql.{Connection, DriverManager, PreparedStatement}import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.so原创 2020-12-05 10:02:17 · 764 阅读 · 0 评论 -
Flink 入门实战之五Source读取kafka数据
Source读取kafka, 解析json数据依赖<!-- 属性配置 --> <properties> <flink.version>1.11.2</flink.version> <kafka.version>0.10.2.1</kafka.version> <scope>compile</scope> </properties>原创 2020-12-03 22:32:09 · 515 阅读 · 0 评论 -
Flink 入门实战之四Source读取Socket数据
Flink从Socket数据流中读取数据安装nc命令yum install -y ncnc -l 8888 ##执行该命令# 然后输入数据 1,男,张三,20,1605970941 以回车结束源码package com.dayimport org.apache.flink.streaming.api.scala._//source之读取Socket数据object SourceSocket { //用户信息样例类 case class User(id: String原创 2020-11-21 23:59:13 · 2942 阅读 · 0 评论 -
Flink 入门实战之三Source读取文件
Flink从文件中读取用户数据,并转化成样例类用户数据user.csv1,男,张三,20,16059709412,女,莉莉,30,16059709223,女,红红,30,16059709134,男,李四,24,16059709045,男,王五,25,16059709656,男,小明,20,1605970946源码package com.dayimport org.apache.flink.streaming.api.scala._//用户信息样例类case class U原创 2020-11-21 23:33:09 · 2012 阅读 · 1 评论 -
Flink 入门实战之二WordCount
感受flink 常用Transform算子flatMap(多进一出、一斤多出)map (一进一出)keyBy (分区)sum (求和)package com.dayimport org.apache.flink.streaming.api.scala._object WordCount { def main(args: Array[String]): Unit = { // 1、获取流式环境变量 val env = StreamExecutionEnvironment原创 2020-11-21 00:00:14 · 185 阅读 · 0 评论 -
Flink 入门实战之一HelloWord
flink1.11.2版本Scala源码package com.dayimport org.apache.flink.streaming.api.scala._object HelloWord { def main(args: Array[String]): Unit = { // 1、获取流式环境变量 val env = StreamExecutionEnvironment.getExecutionEnvironment // 2、添加source源 val.原创 2020-11-20 23:12:49 · 321 阅读 · 0 评论