前言
本文将带领大家透过现象看本质,掌握高性能、高并发、实时系统设计与权衡之道;
高度抽象出实时流计算系统的技术支撑、架构模式、编程模式、系统实现与协同系统,并从零编写一个分布式实时流计算系统!
本文总结了实时流计算系统的通用架构模式。
通过从无到有构建一个流计算编程框架,让读者了解流计算应用计算的任务类型,学会解决计算过程遇到的各种问题和难点。
本文希望让读者领会Java程序开发中“流”这种编程方式的优势和乐趣所在。另外,通过将单节点流计算应用扩展为分布式集群,让读者理解分布式系统的架构模式,并能准确看待开源社区中各种眼花缭乱的流计算框架,看透这些流计算框架的本质,避免选择恐惧症。
本文还探讨了实时流计算能够与不能够解决的问题,让读者对流计算系统的能力了然于胸,不至于钻牛角尖。
总而言之,读者在阅读本文后,能够对实时流计算系统有清晰的认识和理解,在架构设计、系统实现和具体应用方面都能做到心有丘壑,最终做出优秀的实时流计算应用产品。
目录
主要内容
第1章实时流计算;整体而言,本文内容按照“总分”的结构组织。阅读本章,我们对实时流计算系统的使用场景和通用架构组成有了一个整体的了解。在后续的章节中,我们将对实时流计算系统的各个部分进行具体的分析和讨论。
第2章数据采集;本章围绕着数据采集模块,详细分析了NIO和异步编程相关的问题。当读者读到这里的时候可能会感到疑惑,本文的主题是实时流计算,但到目前为止,讨论最多的却是异步和NIO,是不是跑题了?其实不然,“流”与“异步”之间存在千丝万缕的关系,“流”是“异步”的一种重要表现方式,“异步”