spark
文章平均质量分 86
花名-思雪
驻足 即 港湾
展开
-
Spark Streaming Programming Guide(翻译)
近期做目需要用到Spark的流处理框架,故进行了官方文档的阅读,顺手翻译在此。概要Spark流是对于Spark核心API的拓展,从而支持对于实时数据流的可拓展,高吞吐量和容错性流处理。数据可以由多个源取得,例如:Kafka,Flume,Twitter,ZeroMQ,Kinesis或者TCP接口,同时可以使用由如map,reduce,join和window这样的高层接口描述的复杂算法进行处理。最终,处翻译 2016-03-21 16:31:44 · 1896 阅读 · 0 评论 -
详细阅读Spark论文
为了尽可能完整地了解Spark的整个原理,并有一个层次性的认知,找了几篇最初Spark提出的论文来看。 一是希望 借此进一步加深对于Spark的理解进而指导之后的使用。 二是闲的 没事可干 那就看着虐虐自己吧。 首篇论文在这里可下note: 并非完整翻译,这样也没什么意思,而基本流程是阅读内容–>理解内容–>总结内容–>提出想法吧。当然其中会添加进去一些自己理解相关知识点请的”外援“。现在正式原创 2016-03-12 16:30:54 · 13949 阅读 · 0 评论