![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 53
爱做梦的鱼
我想做出一款伟大的产品,而不是向钱看的产品,做出一个真正科技改变生活的产品,而不是对其他人毫无益处的产品。
这个世界越来越浮躁,大家都不愿踏踏实实做事,都在弄虚作假,都在做容易且能快速获利的事,可是有的事本身就是错的啊,大家为什么视而不见呢,比如说好多公司总在想办法把产品卖出去,而不是想着先做好产品,有些事也总是要做的,比如我们觉得这个产品就要这样做,那我们就去做,去尝试,不要说其他厂商都不这样做,那我们就不做。
展开
-
4. 广播变量
类似于Spark广播变量,广播的数据是Dataset,接收广播的也是Dataset。 分区规则是把元素广播给所有的分区,数据会被重复处理。原创 2023-09-09 12:43:36 · 500 阅读 · 0 评论 -
1. Flink简述
Spark 的数据模型是,很多时候 RDD 可以实现为分布式共享内存或者完全虚拟化(即有的中间结果 RDD 当下游处理完全在本地时可以直接优化省略掉)。这样可以省掉很多不必要的 I/O。 Spark用 RDD上的变换(算子)来描述数据处理。每个算子生成一个新的 RDD。所有的算子组成一个DAG, Spark 比较简单地把边分为宽依赖和窄依赖,,这时上游的结果 RDD 可以省略。 Flink 的基本数据模型是,即 Event 序列。流可以是无边界的的无限流,即一般意义上的流处理。原创 2023-09-09 12:28:12 · 648 阅读 · 0 评论