- 博客(6)
- 收藏
- 关注
RSS订阅原创 【Storm】Storm事务案例实战
一、Storm事务案例实战之 ITransactionalSpout案例背景：统计网站每天的访问量1、ITransactionalSpout，事务性的spout类，继承ITransactionalSpoutpackage transaction1;import java.util.HashMap;import java.util.Map;import java.util.Ra...
2019-08-31 10:59:47
551
原创 【Storm】API入门案例开发
1.Component 组件注：上图中用红框圈出的是3个常用的API。1）基本接口 （1）IComponent 接口 （2）ISpout 接口 （3）IRichSpout 接口 （4）IStateSpout 接口 （5）IRichStateSpout 接口 （6）IBolt 接口 （7）IRichBolt 接口 （8）IBasicBolt...
2019-08-18 14:10:51
358
原创 【Storm】Spout的storm-starter及Grouping策略、并发度讲解、网站浏览量和用户数统计
maven先安装好。以下讲storm-starter的使用。1、从github下载官方的storm-starter例子包，是maven工程， 地址https://github.com/nathanmarz/storm-starter2、把文件解压复制到workspace目录下，用cmd命令行，在该文件目录下运行mvn eclipse:eclipse，生成eclipse所...
2019-08-18 12:53:47
615
原创 【Storm】Strom事务主要API及官方案例分析
1、事务主要API（1）Spout（a）ITransactionalSpout<T>，同BaseTransactionalSpout<T>，普通事务Spout（b）IPartitionedTransactionalSpout<T> ，接口，分区事务，增加消息队列吞吐量，现在的消息队列大多支持分区；同BasePartitionedTransactiona...
2019-08-11 19:01:07
410
原创 【Storm】批处理事务原理以及事务
1、批处理 对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个tuple是否发送成功，进而spout可以重发该tuple，保证一个tuple在出错的情况下至少被重发一次。但是在需要精确统计tuple的数量如销售金额场景时，希望每个tuple”被且仅被处理一次” 。Storm 0.7.0引入了Transnational Topology, 它可以保证...
2019-08-10 21:47:01
661
原创 【Storm】集群统一启动和停止shell脚本开发
hadoop集群有统一启动的命令start-all.sh 启动全部进程stop-all.sh 停止全部进程hadoop如果用cdh版本 + Cloudera Manager界面化管理，直接在界面上点击按钮即可启动集群。而storm集群有多个进程在运行，只能运行以下命令逐一去停止kill -9 进程id这样子很不方便，可以采用shell脚本来启停所有storm...
2019-08-07 22:46:18
761
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人