- 博客(5)
- 资源 (4)
- 收藏
- 关注
转载 storm应用场景
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架(原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析)。实时数据处理的应用场景很广泛,如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中,能根据当前情景上下文
2012-11-13 13:55:49 7186 1
转载 strom grouping
http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.htmlstream grouping分类1. Shuffle Grouping: 随机分组, 随机派发stream里面的tuple, 保证每个bolt接收到的tuple数目相同.2. Fields Grouping:按字段分组, 比如按userid来分组, 具有
2012-11-13 13:53:27 1194
转载 复杂网络
//http://zh.wikipedia.org/wiki/%E5%A4%8D%E6%9D%82%E7%BD%91%E7%BB%9C1.复杂网络,复杂网络是由数量巨大的节点和节点之间错综复杂的关系共同构成的网络结构。2.小世界网络:小世界网络的判定准则有两个,分别是特征路径长度短,和高集聚系数。网络的特征路径长度是指在它的图表示中,两个节点的路径长度的平均值(这里路径长度指两节点间最短路
2012-11-13 11:27:09 2416
转载 MM1模型
//tracebakc:http://zh.wikipedia.org/wiki/M/M/11.可用M/M/1模型的例子众多,例如只有一位员工的邮局,只有一队列。客人进来,排队、接受服务、离开。如果客人进来的数目符合泊松过程,且服务时间是指数分布,则可用M/M/1模拟,并算出平均队列长度、不同等候时间的机率等。 M/M/1可一般化成为M/M/n模型,使可用时接受服务的人数为大于一。历史上
2012-11-13 11:19:13 8403
转载 twitter storm(Stream grouping)
SplitSentence对于句子里面的每个单词发射一个新的tuple, WordCount在内存里面维护一个单词->次数的mapping, WordCount每收到一个单词, 它就更新内存里面的统计状态。有好几种不同的stream grouping:最简单的grouping是shuffle grouping, 它随机发给任何一个task。上面例子里面RandomSentenc
2012-11-08 19:59:54 1014
p6spy改造去掉resultset和添加每日归档
2013-07-31
僵尸网络研究
2008-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人