分布式学习博客
把自己学习分布式的经历分享出来,好的地方希望帮助到其他人,不好的地方希望有大佬指导一下我。
AEsun
嘻嘻嘻
展开
-
网络流控与反压
首先说一下什么是网络流控?通过下图来解释一下这个问题。在这个时候我们需要Producer的速率降低以匹配Consumer的速率,保证数据的安全性。我们可以通过静态和动态的方法来达到这个目的,如下图在Producer后面加上一个限速器:但是像这种固定限速的方法会导致许多问题,比如Consumer的速率增加时,不能及时地更改,使得系统的效率较低。因此,我们需要动态的方法来使得系统拥...原创 2019-10-20 22:36:57 · 2043 阅读 · 0 评论 -
Flink代码初学记录
Flink代码初学记录第一次使用markdown编辑器言归正传,Flink代码学习功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导...原创 2019-09-16 20:36:22 · 553 阅读 · 0 评论 -
Flink、Spark和Storm作为流处理框架的对比
流处理已经获得了越来越多的关注,不论是在学术界和工业界,在很多特定的场景下,批处理无法满足使用者的需求,实时的流处理是必不可少的。目前主流的框架主要集中在Flink、Spark和Storm上,这三个框架有各自的优点,也有各自的劣势。理解这三个框架的区别,能帮助使用者在特定的场景下选择更为合理的框架,获得最佳的使用效果。首先从三个框架的底层去比较一下。Spark采用的想法依然是批处理,用微小的“...原创 2019-09-09 10:57:02 · 872 阅读 · 0 评论 -
Apache Storm的容错保证(at-least once)
今天上午刚把Spark搭建好,并跑了一个Demo,下午主要学一下Storm和Flink的容错机制,并理解一下两个框架的不同之处。晚上可能要学一下两个框架的反压机制。 首先列出我的参考博客和网站,http://storm.apache.org/releases/current/Guaranteeing-message-processing.htmlhttps:/...原创 2019-07-23 16:23:33 · 701 阅读 · 0 评论 -
Storm配置历程
新人,加入并行计算与分布式实验室,目标是对整个分布式的经典框架进行梳理和学习,主要有Hadoop, Storm, Spark, Flink。本着实践出真知的原则,边看其他人的博客、官方网站和论文,边搭建框架,实际运行Demo,有助于理解。现已搭建成功Hadoop和Flink,今天主要记录一下Storm的配置,不难,但是也出现了一些错误,通过前辈大佬的博客,逐步解决了问题。在此感谢~...原创 2019-07-22 10:55:40 · 155 阅读 · 0 评论