cary_1991的专栏

1.解密Spark Streaming运行机制2.解密Spark Streaming架构I.Spark Core是基于RDD形成的，RDD之间都会有依赖关系，Spark Streaming在RDD上的时间维度，DStream就是在RDD的基础之上加上了时间维度。DStream就是RDD的模板，随着时间的流逝不断地实例化DStream，以数据进行填充DStream Graph,静态的

在线动态计算分类最热门商品案例回顾与演示基于案例贯通Spark Streaming的运行源码使用Spark Streaming + Spark SQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用Spark SQL作为查询引擎。其中链接

解密Spark Streaming Job架构和运行机制解密Spark Streaming容错架构和运行机制作业的生成肯定是一个动态的生成private[streaming]valgraph: DStreamGraph = {  if(isCheckpointPresent) {    cp_.graph.se

Exactly once输出不重复A.课程的目的：根据自己的业务需要，定制开发自己需要的Spark版本，包括Spark Bug的修复，性能的改进，功能的扩展，总之适合自己公司的维护，便于简单易理解，易维护。B.事务处理，比如银行转账，事务的输入和输出都应该保证事务一致一方面处理能够处理，且只被处理一次，输出能够输出且只能输出一次一