大数据
vip_Miki
比技术更重要的是有一颗稚子之心,更是要为之坚持的东西
展开
-
Storm数据流模型的分析及讨论
http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html转载 2015-10-03 11:41:42 · 402 阅读 · 0 评论 -
Storm之Spout、Bolt、Topology组件
1.Spout实现 Strom使用元组作为数据模型,元组就是一组命名的值,元组中的每个字段都可以是任何类型的对象。Storm支持所有基本类型,string和byte数组作为元组字段值。如果要使用自己定义的类型,也只需要为你自己定义的类型实现并且注册一个serializer即可。每个节点还必须要为输出的元组定义字段名称。 Spout要么继承BaseRichSpout要么实现IRichSp转载 2015-10-04 14:38:04 · 5936 阅读 · 1 评论 -
storm-starter中的RollingTopWords代码解析
源码来自storm-starter。RollingTopWords的作者对代码的实现做了非常详细的解释,请看这里这篇博文用于记录我自己在查看代码时的理解。Spout部分略过不提。用的是TestWordSpout。1. RollingCountBolt带有两个参数windowLengthInSeconds和emitFrequencyInSeconds。前者表示滑动窗口转载 2015-10-04 15:11:55 · 1327 阅读 · 0 评论