![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
写代码的小森森
上若善水
展开
-
2.storm-环境搭建
1. 安装 jdk,配置 JAVA_HOME,CLASSPATH (参考jdk安装)https://blog.csdn.net/Willson_L/article/details/828397762. 搭建 zookepper 集群环境,保证3台可用。(参考zookeeper安装)https://blog.csdn.net/Willson_L/article/details/83057...原创 2018-10-26 10:41:20 · 256 阅读 · 0 评论 -
3.Storm-HelloWorld
3.1 Storm 代码总体流程3.1.1 Spout 类编写首先编写我们的数据源类:Spout。可以使用两种方式。1. 继承 BaseRichSpout 类2. 实现 IRichSpout 接口重点需要几个方法进行实现和重写,open、nextTuple、declareOutputFields3.1.2 Bolt 类编写继续编写我们的数据处理类:Blot。可以使用两种...原创 2018-10-31 14:54:58 · 395 阅读 · 0 评论 -
1.Storm-简介
Storm是Twitter开源的分布式实时大数据处理框架,最早开源于github,从0.9.1版本之后,归于Apache社区,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。原创 2018-10-24 14:11:43 · 364 阅读 · 0 评论 -
4.Storm-Topology任务配置
代码运行流程public class PWSpout extends BaseRichSpout { private static final long serialVersionUID = 7686619786974521530L; private SpoutOutputCollector collector; private static Map<Integer...原创 2018-11-01 11:26:29 · 660 阅读 · 0 评论 -
5.Storm-Stream Grouping
Stream Grouping:为每个 bolt 指定应该接受哪个流作为输入,流分组定义了如何在 bolt 的任务直接进行分发。Shuffle Grouping 随机分组:保证每个 bolt 接收到的 tuple 数目相同。Field Grouping按字段分组:比如按 uesrid 来分组,具有同样 userid 的 tuple 会被分到相同的 bolts,不同的 userid 则会...原创 2018-11-01 15:27:26 · 304 阅读 · 0 评论 -
6.Storm-DRPC
6.1 DRPC 介绍分布式RPC(Distributed RPC,DRPC)Storm 里面引入 DRPC 主要是利用 storm 的实时计算能力来并行优化 cpu 密集型的计算任务。DRPC 的 storm Topology 以函数的参数流作为输入,而把这些函数调用的返回值作为 Topology 的输出流。DRPC 其实不能算是 storm 本身的一个特性,他是通过组合 storm...原创 2018-11-02 17:12:28 · 344 阅读 · 0 评论