大数据架构之Kappa

Linedln的高管Jay Kreps 结合自己在公司的实践和理解，提出跟Lambda 不一样的架构，虽然Lambda立足于构建一个同时处理离线数据和实时数据分布式系统，但是因为对于一分数据，你需要同时为离线和实时编写两套不同的代码，一当业务变更或者更换系统，又需要重新编码，需要消耗巨大的人力。基于自己的理解，Jay 提出了基于Kafka的用实时完全实现数据处理的系统，他把它命名为Kappa。
Kappa 的架构:

整个过程可以用下面的话来说：（直接复制其他人的=_=）
1.使用Kafka或其它系统来对需要重新计算的数据进行日志记录，以及提供给多个订阅者使用。例如需要重新计算30天内的数据，我们可以在Kafka中设置30天的数据保留值。
2.当需要进行重新计算时，启动流处理作业的第二个实例对之前获得的数据进行处理，之后直接把结果数据放入新的数据输出表中。
3.当作业完成时，让应用程序直接读取新的数据记录表。
4.停止历史作业，删除旧的数据输出表。

作者：Albert陈凯
链接：https://www.jianshu.com/p/d391fe9c7976
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。