- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink在大规模状态数据集下的checkpoint调优
文章目录前言Checkpoint快慢的性能指标相邻Checkpoint的间隔时间设置外部State的存储选择前言众所周知，Flink内部为了实现它的高可用性，实现了一套强大的checkpoint机制，还能保证作用的Exactly Once的快速恢复。对此，围绕checkpoint过程本身做了很多的工作。在官方文档中，也为用户解释了checkpoint的部分原理以及checkpoint在实际生...
2018-12-26 20:06:22
5304
1
原创 Flink流计算中SQL表的概念和原理
文章目录前言动态表和动态查询的概念动态表的时间属性引用前言Fink在新发布的1.7版本中，不断完善和加强了SQL&Table API方面的功能支持。这使得在流计算过程中，用户同样能够运用熟悉的SQL语句来做数据处理，查询。但是相比于窗体的RDBMS而言，流计算过程中的SQL处理难免让人觉得不是很好理解，毕竟数据不是fixed-sized的，而是连续不断的。所以本文，笔者来聊聊这个略显...
2018-12-22 15:02:57
2918
原创 Flink流处理过程的部分原理分析
文章目录前言前言在分布式领域，计算和存储一直是两大子领域。很多分布式理念在计算和存储的实现中会有着完全不同的逻辑，比如我们快照，计算框架中的快照和我们平常说的存储快照实现不同点在于哪里呢？笔者做为一个研究存储模块出身的人，最近在研读Flink流处理的部分原理，小小作番总结。很多时候，以存储的眼光来看待计算过程中的处理过程，还是有很多不一样的地方的。...
2018-12-19 23:20:07
12167
1
原创 流计算过程中对于窗口的处理方式
前言与传统批处理作业方式不同，实时流的计算处理过程是连续的。所以当我们在流式作业中要做传统的阶段统计工作（求和，取均值计算）的时候，需要在逻辑上对这些数据进行分片，然后再处理。本文我们来聊聊流计算过程中按照时间的处理方式。Window的概念在传统批处理的作业执行方式里，我们可以一次性读取入所有的输入数据，然后经过计算，再输出结果。对于原始数据，我们可以做任意我们想做的预处理工作，包括数据...
2018-12-12 10:52:50
2086
原创 当我们在谈论Flink的时候，我们到底在谈论些什么
前言目前每当我们聊到当下热门的计算引擎的时候，无一例外地会聊到Apache Flink：当下非常火热的流处理计算框架。更是有人拿它和Spark做对比，到底哪个才是现今最好的计算引擎。当然这个已经不是本文所要阐述的主题啦。老实话，笔者本人做的比较多的还是存储领域，对计算领域的知识不敢说是内行。最近也是抽空学习了下Flink的一些概念体系，来分享分享笔者的一个学习心得吧。＃ Apache Fli...
2018-12-08 15:43:12
1348
原创 循环冗余校验（CRC）的简单应用实践
前言一般来说，数据信息在传输过程中有时会受到外界有意或无意的干扰行为，出现数据的篡改和破坏现象，造成数据接收端的不一致行为。于是乎，在信息领域有了数据校验的概念，今天本文主要来简单聊聊其中的经典使用算法CRC（循环冗余校验）以及其在Ozone中的应用实践。CRC和Checksum的关系往往我们在谈论CRC的时候，马上会联想到Checksum这个词，二者是等同的意思吗？实则还是有区别的。...
2018-12-03 23:10:02
4610
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人