storm
文章平均质量分 57
Nougats
这个作者很懒,什么都没留下…
展开
-
Storm opaqueTridentKafkaSpout+HBaseMapState实例
需求Trident实现WordCount案例:Kafka+Storm+HBase,部署在集群中运行,其中 KafkaSpout使用OpaqueTridentKafkaSpout HBaseState使用HBaseMapState实现buildTopology()方法创建并返回tridentTopologypublic static StormTopology buildTopology(){原创 2017-06-01 11:51:50 · 2313 阅读 · 3 评论 -
Storm Kafka + Storm + HBase实例
需求 WordCount案例 Kafka + Storm + HBase HBase表名:wordcount; 列族:result; RowKey:word; Field:count 打包集群部署运行 开发过程1. 配置kafkaSpout,通过KafkaSpout获取Kafka集群中的数据//从zookeeper动态读取broker BrokerHosts hosts = new ZkHo原创 2017-05-25 20:31:27 · 1423 阅读 · 0 评论 -
Storm 时间滑动窗口+topN+Hbase
需求 wordcount使用滑动时间窗口,每10秒计算过去30秒的单词个数。并在该时间窗口排出TOP5,存入HBase中(排名作为Rowkey,word与count作为Column) 实现过程 自定义Function切割字符串 public static class Split extends BaseFunction { @Override public原创 2017-06-09 22:46:10 · 1754 阅读 · 0 评论 -
Storm Trident+DRPC实例
需求Trident实现用户使用浏览器统计 通过DRPC查看结果开发过程实现IBatchSpout批量读取日志文件 public class MyBatchSpout implements IBatchSpout { Fields fields; HashMap<Long, List<List<Object>>> batches = new HashMap(); public原创 2017-05-27 11:19:14 · 481 阅读 · 0 评论 -
Storm JDBC插入数据到数据库
storm jdbc添加依赖 <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-jdbc</artifactId> <version>${storm.v原创 2017-07-17 08:12:40 · 2213 阅读 · 0 评论