flink
文章平均质量分 82
记录自学flink之路
yann.bai
你的态度决定你的高度
时刻谨记,我们永远是前进路上的初学者
展开
-
【Flink】yarn集群模式
Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效;支持会话级别的新增、删除和修改环境变量,用作之后的程序使用,仅仅用作此次会话期间;flink系列 转载自作者:Z尽际链接:https://www.jianshu.com/p/f63b7e1e6e09来源:简书著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。转载 2022-08-24 18:41:19 · 887 阅读 · 0 评论 -
【Flink】内存分布
相关配置详细说明: Flink ConfigFlink JVM 进程的进程总内存(Total Process Memory)包含了由 Flink 应用使用的内存(Flink 总内存)以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存(Total Flink Memory)包括 JVM 堆内存(Heap Memory)和堆外内存(Off-Heap Memory)。 其中堆外内存包括直接内存(Direct Memory)和本地内存(Native Memory)。配置 Flink 进程内存最简单转载 2022-08-23 17:25:13 · 420 阅读 · 0 评论 -
【Flink】Checkpoint 基础(1)
Flink Checkpoint机制剖析(源码剖析)转载 2022-08-22 16:39:10 · 1318 阅读 · 0 评论 -
【Flink】Table\Sql API 笔记:Row和RowData
【Flink】Table\Sql API 笔记:Row和RowData原创 2022-08-21 21:56:05 · 7143 阅读 · 1 评论 -
【Flink】 Table/Sql API ——join 探究 (1)
在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join,分别是:1、join();本章重点讲解regular join以及interval join,其中临时表join的话下一章补充在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。转载 2022-08-21 15:48:05 · 483 阅读 · 0 评论 -
【Flink】第二节 windows下运行
接上一节,flink编译ok了,但是我准备在windows上进行运行,但是好像1.10之后 start_cluster.bat没有了呢,这样我怎么运行呢,本节是准备这个问题。原创 2022-08-21 10:41:28 · 1411 阅读 · 2 评论 -
【Flink】第一节 源码编译
认识以及改造flink的第一步从下载编译源码开始。原创 2022-08-19 18:55:39 · 1547 阅读 · 2 评论 -
Flink的双亲委派机制
我们知道,在 JVM 中,一个类加载的过程大致分为加载、链接(验证、准备、解析)、初始化5个阶段。而我们通常提到类的加载,就是指利用类加载器(ClassLoader)通过类的全限定名来获取定义此类的二进制字节码流,进而构造出类的定义。Flink 作为基于 JVM 的框架,在 flink-conf.yaml 中提供了控制类加载策略的参数 classloader.resolve-order,可选项有 child-first(默认)和 parent-first。本文来简单分析一下这个参数背后的含义。pa转载 2022-03-08 00:46:31 · 1068 阅读 · 0 评论 -
使用BloomFilter布隆过滤器解决缓存击穿、垃圾邮件识别、集合判重
Bloom Filter是一个占用空间很小、效率很高的随机数据结构,它由一个bit数组和一组Hash算法构成。可用于判断一个元素是否在一个集合中,查询效率很高(1-N,最优能逼近于1)。在很多场景下,我们都需要一个能迅速判断一个元素是否在一个集合中。譬如:网页爬虫对URL的去重,避免爬取相同的URL地址;反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱(同理,垃圾短信)...转载 2019-12-06 11:08:17 · 307 阅读 · 0 评论