Java天下第1
Java后端工程师。
展开
-
Flink学习第十天——玩转Flink Core Api常用Transformation算子 多案例实战
需求:多数算子,我们会用订单 转换-过滤-分组-统计 来实现结果类型 idea自动提示什么是java里面的Map操作什么是java里面的FlatMap操作。原创 2022-08-21 22:06:44 · 523 阅读 · 0 评论 -
Flink学习第九天——Flink里面核心Source Sink对接 Kafka Connetor实战
之前自定义SourceFunction,Flink官方也有提供对接外部系统的,比如读取Kafka。flink官方提供的连接器。原创 2022-08-21 19:05:10 · 531 阅读 · 0 评论 -
Flink学习第八天——Flink核心的Sink Operator实战
Redis Sink 核心是RedisMapper 是一个接口,使用时要编写自己的redis操作类实现这个接口中的三个方法。如果选择继承SinkFunction,会在每次写入一条数据时都会创建一个JDBC连接。Flink连接mysql的几种方式(都需要加jdbc驱动)flink官方提供 Bundle Connector。建议继承RichSinkFunction函数。Flink怎么操作redis?保存视频订单到Mysql。自定义MysqlSink。...原创 2022-08-17 22:30:51 · 656 阅读 · 0 评论 -
Flink学习第七天——Flink核心的Source Operator实战
第二层抽象是 Core APIs,许多应用程序不需要使用到上述最底层抽象的 API,而是使用 Core APIs 进行开发。第四层最顶层抽象是 SQL,这层程序表达式上都类似于 Table API,但是其程序实现都是 SQL 查询表达式。第一层是最底层的抽象为有状态实时流处理,抽象实现是 Process Function,用于底层处理。注意:Table和SQL层变动多,还在持续发展中,大致知道即可,核心是第一和第二层。自定义Source,实现接口自定义数据源,rich相关的api更丰富。...原创 2022-08-13 10:53:27 · 283 阅读 · 0 评论 -
Flink学习第六天——Flink常见的运行部署模式介绍和运行流程浅析
Task Slot是Flink中的任务执行器,每个Task Slot可以运行多个subtask ,每个subtask会以单独的线程来运行。每个 worker(TaskManager)是一个 JVM 进程,可以在单独的线程中执行一个(1个solt)或多个 subtask。为了控制一个 TaskManager 中接受多少个 task,就有了所谓的 task slots(至少一个)将算子链接成 task 是个有用的优化:它减少线程间切换、缓冲的开销,并且减少延迟的同时增加整体吞吐量。.........原创 2022-08-12 22:30:25 · 474 阅读 · 0 评论 -
Flink学习第五天——Flink可视化控制台依赖配置和界面介绍
win百度搜索博文参考不同系统安装。win|linux需要安装。WebUI可视化界面。原创 2022-08-01 22:14:42 · 581 阅读 · 0 评论 -
Flink学习第四天——完成第一个Flink 流批一体案例
创建项目添加依赖。原创 2022-08-01 22:08:04 · 418 阅读 · 0 评论 -
Flink学习第三天——一文带你了解什么是Flink流?
ApacheFlink擅长处理无界和有界数据集,有出色的性能。ApacheFlink是一个框架和分布式处理引擎,用于在。有谁在用呢(基本大厂都在用)数据流上进行有状态的计算。原创 2022-08-01 21:46:02 · 119 阅读 · 0 评论 -
Flink学习第二天——Jdk8的Stream流和Flink有什么不同?
JDK8 里面的Stream和流式处理框架Flink对比JDK8 Stream也是流处理,flink也是流处理, 那区别点来啦数据来源和输出有多样化怎么处理;jdk stream -写代码flink - 自带很多组件海量数据需要进行实时处理jdk stream - 内部jvm单节点处理,单机内部并行处理flink - 节点可以分布在不同机器的JVM上,多机器并行处理统计时间段内数据,但数据达到是无序的jdk stream -写代码flink - 自带窗口函数和watermark处原创 2022-07-27 23:03:52 · 283 阅读 · 0 评论 -
Flink学习第一天——什么是批量、流式计算?
区分(离线计算和实时计算+流式计算和批量计算)批量计算(batchcomputing)原创 2022-07-27 22:55:25 · 334 阅读 · 0 评论