- 博客(3)
- 收藏
- 关注
RSS订阅原创 Storm的分布式的远程方法调用(DRPC)
一、DRPC就是分布式的远程方法调用。 在Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型的计算任务,DRPC的storm topology以函数的参数流作为数据，而把这些函数调用的返回值作为topology的输出流 DRPC其实不能算是storm本身的特性，他是通过组合storm的stream、spout、bolt、topology而成的一种模式，本来应该把D
2017-12-10 17:52:33
495
原创 Storm分组
1、定义：Stream Grouping:为每一个bolt指定应该接收哪个流作为输入，流分组定义了如何在bolt的任务直接进行分发。1.1 Shuffle Grouping随机分组：保证每个bolt接受到的tuple数目相同1.2 Fields Grouping按字段分组，比如按照userid来分组，具有同样的userid的tuple会被分到同样的Bolts，而不同的userid则会被分配到不同的...
2017-12-10 14:53:55
380
原创 Storm入门-helloWorld
一、简述 1、首先需要编写数据源类、Spout。可以使用两种方式 1.1继承BaseRichSpout类 1.2实现IRichSpout接口 1.3重点需要几个方法进行重写或实现：open（初始化方法）、nextTuple（核心方法）、declareOutputFiles（转向到下个节点的方法） 2、然后编写我们的数据处理类：bolt，也可以使用两种方式 2.1继承BaseBasicB
2017-12-02 17:44:46
669
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人