Flink
文章平均质量分 71
话数Science
大数据工程师
展开
-
【Flink电商项目】系统架构
原创 2024-02-29 09:45:07 · 415 阅读 · 0 评论 -
【Flink精讲】Flink单机安装步骤
web ui的默认端口为8081,可以修改为其他端口,需要修改conf/flink-conf.yaml,以及conf/masters。解压缩:tar -zxvf flink-1.17.2-bin-scala_2.12.tgz。启动SQL Client:./bin/sql-client.sh embedded。修改配置文件:conf/flink-conf.yaml。启动命令:./bin/start-cluster.sh。终止命令:./bin/stop-cluster.sh。原创 2024-02-28 18:16:37 · 616 阅读 · 0 评论 -
【Flink精讲】Flink反压调优
简单来说, Flink 拓扑中每个节点(Task)间的数据都以阻塞队列的方式传输,下游来不及消费导致队列被占满后,上游的生产也会被阻塞,最终导致数据源的摄入被阻塞。2)影响 state 大小: barrier 对齐时,接受到较快的输入管道的 barrier 后,它后面数据会被缓存起来但不处理,直到较慢的输入管道的 barrier 也到达,这些被缓存的数据会被放到 state 里面,导致 checkpoint 变大。因此,我们在生产中要尽量避免出现反压的情况。原创 2024-02-26 16:34:02 · 732 阅读 · 0 评论 -
【Flink精讲】Flink状态及Checkpoint调优
Flink 针对不同的设置为 RocksDB 提供了一些预定义的选项集合,其中包含了后续提到的一些参数,如果调整预定义选项后还达不到预期,再去调整后面的 block、 writebuffer等参数。当 前 支 持 的 预 定 义 选 项 有 DEFAULT 、 SPINNING_DISK_OPTIMIZED 、SPINNING_DISK_OPTIMIZED_HIGH_MEM 或 FLASH_SSD_OPTIMIZED。有条件上 SSD。原创 2024-02-26 14:51:23 · 695 阅读 · 0 评论 -
【Flink精讲】Flink性能调优:CPU核数与并行度
提交任务命令:-d \-p 5 \ 指定并行度-Dyarn.application.queue=test \ 指定 yarn 队列-Djobmanager.memory.process.size=2048mb \ JM2~4G 足够-Dtaskmanager.memory.process.size=4096mb \ 单个 TM2~8G 足够-Dtaskmanager.numberOfTaskSlots=2 \ 与容器核数 1core: 1slot 或 2core: 1slot。原创 2024-02-25 16:37:56 · 2530 阅读 · 1 评论 -
【Flink精讲】Flink性能调优:内存调优
【Flink精讲】Flink性能调优:内存调优 JVM metaspace: JVM 元空间taskmanager.memory.jvm-metaspace.size,默认 256mb2) JVM over-head 执行开销: JVM 执行时自身所需要的内容,包括线程堆栈、 IO、编译缓存等所使用的内存。总进程内存*fraction,如果小于配置的 min(或大于配置的 max) 大小,则使用 min/max大小。原创 2024-02-25 11:06:02 · 1088 阅读 · 0 评论 -
【Flink精讲】Flink任务调度机制
【Flink精讲】Flink任务调度机制Flink 中的执行图可以分成四层: StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。StreamGraph:是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。JobGraph: StreamGraph 经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。主要的优化为原创 2024-02-24 09:24:05 · 738 阅读 · 0 评论 -
【Flink精讲】Flink组件通信
Flink内部节点之间的通讯使用Akka,比如JobManager和TaskManager之间。而operator之间的数据传输是利用Netty。Actor(演员)模型,每个actor有一个mailbox来收发消息,每个actor都是一个单一的线程。Flink系统由3个分布式组件组成:JobClient、JobManager和TaskManager。Actor系统:相当于部门,系统里有线程池,多个actor系统可以在一台机器上共存。RPC是统称,Akka,Netty是实现。主要指三个进程中的通讯。原创 2024-02-23 10:16:30 · 416 阅读 · 0 评论 -
【Flink精讲】Flink 内存管理
目前, 大数据计算引擎主要用 Java 或是基于 JVM 的编程语言实现的,例如 Apache Hadoop、 Apache Spark、 Apache Drill、 Apache Flink 等。Java 语言的好处在于程序员不需要太关注底层内存资源的管理,但同样会面临一个问题, 就是如何在内存中存储大量的数据(包括缓存和高效处理)。Flink 使用自主的内存管理,来避免这个问题。原创 2024-02-21 19:26:47 · 719 阅读 · 0 评论 -
【Flink精讲】Flink内核源码分析:命令执行入口
【Flink精讲】Flink内核源码分析:命令执行入口官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;主要的进程:JobManager、TaskManager、Client/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend环境信息:conf.sh原创 2024-02-20 15:20:53 · 455 阅读 · 0 评论 -
【Flink详解】Flink on YARN任务提交流程
【Flink详解】Flink on YARN任务提交流程原创 2024-02-19 17:21:08 · 238 阅读 · 0 评论 -
【大数据面试】Flink面试题附答案
1、背压问题2、Flink是如何支持批流一体的3、Flink任务延迟高,想解决这个问题,你会如何入手4、Flink的监控页面,有了解吗,主要关注那些指标?5、你们之前Flink集群规模有多大?部署方式是什么?你了解哪些部署方式?6、Flink如何做压测和监控7、Flink checkpoint 的相关查考?如何做checkpoint,如何监控,存储在哪里?等8、Flink Savepoint 的相关查考?9、Flink exactly-once 的保证?原创 2024-01-11 10:48:23 · 3247 阅读 · 1 评论 -
【Flink精讲】双流Join之Regular Join(即普通Join)
Regular Join普通Join通过条件关联两条实时数据流:动态表Join动态表支持Inner Join、Left Join、Right Join、Full Join。1. Inner Join(Join):只有两边数据流都关联上才输出+[L,R]2. Left Join(Left Outer Join):只要左流有数据即输出+[L,NULL],右流数据到达时会产生撤回流-[L,NULL],并输出+[L,R]3. Right Join(Right Outer Join):和Left Join原创 2024-01-06 20:45:07 · 1038 阅读 · 0 评论 -
Apache Flink 进阶教程(六):Flink 作业执行深度解析
Apache Flink 进阶教程(六):Flink 作业执行深度解析原创 2023-12-22 17:40:59 · 2336 阅读 · 0 评论 -
Apache Flink 进阶教程(七):网络流控及反压剖析
Apache Flink 进阶教程(七):网络流控及反压剖析网络流控是为了在上下游速度不匹配的情况下,防止下游出现过载网络流控有静态限速和动态反压两种手段Flink 1.5 之前是基于 TCP 流控 + bounded buffer 实现反压Flink 1.5 之后实现了自己托管的 credit – based 流控机制,在应用层模拟 TCP 的流控机制。原创 2023-12-22 17:36:05 · 1817 阅读 · 0 评论 -
基于 Flink 的典型 ETL 场景实现方案
数仓架构演变,三种架构:lambda架构、kappa架构、实时olap架构。维表join,双流Join。原创 2023-12-20 21:38:22 · 1846 阅读 · 0 评论 -
【大数据面试】Flink面试题附答案
Flink面试题附答案Flink架构Flink的窗口了解哪些,都有什么区别,有哪几种?如何定义?Flink窗口函数,时间语义相关的问题介绍下Flink的watermark(水位线),watermark需要实现哪个实现类,在何处定义?有什么作用Flink的窗口(实现)机制说下Flink的CEP说一说Flink的Checkpoint机制Flink的Checkpoint底层如何实现的?savepoint和checkpoint有什么区别?Flink的Checkpoint流程原创 2023-12-19 10:29:14 · 1714 阅读 · 0 评论