![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Storm
.
Michael-DM
普通大二学生,博客用于学习和回顾,如有错误请私信帮助改正,谢谢
展开
-
Storm整合Kafka
先丢个官网链接本章博客依赖官网第一步,先放依赖://为了防止冲突,我们用exclusion将log4j依赖排除<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <v...原创 2020-03-25 19:47:53 · 179 阅读 · 0 评论 -
Storm整合Hbase
先丢个官网链接本章博客依赖官网第一步,先放依赖://为了防止冲突,我们用exclusion将hadoopClient和hadoopAuth排除<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-hbase</artifactId&g...原创 2020-03-24 18:06:56 · 242 阅读 · 0 评论 -
Storm整合HDFS
先丢个官网链接本章博客依赖官网第一步,先放依赖://为了防止冲突,我们用exclusion将hadoopClient和hadoopAuth排除<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-hdfs</artifactId>...原创 2020-03-24 08:28:42 · 121 阅读 · 0 评论 -
Storm整合JDBC
先丢个官网链接本章博客依赖官网第一步,先放依赖:<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-jdbc</artifactId> <version>${storm.version}</version>...原创 2020-03-24 07:59:59 · 94 阅读 · 0 评论 -
Storm整合Redis
先丢个官网链接本章博客依赖官网第一步,先放依赖:<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-redis</artifactId> <version>${storm.version}</version&g...原创 2020-03-24 00:29:31 · 209 阅读 · 0 评论 -
Storm:本地模式DRPC,远程模式DRPC
先甩个官网链接1.本地模式DRPC首先写一个类继承BaseRichBoltpublic static class MyBlot extends BaseRichBolt{ //数据需要发送,所以将OutputCollector 定义出去 OutputCollector collector; @Override public...原创 2020-03-23 16:43:00 · 229 阅读 · 0 评论 -
基于Hadoop的RPC实现
如果要使用RPC,首先需要导入hadoop-client的依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</versio...原创 2020-03-23 14:51:16 · 121 阅读 · 0 评论 -
Storm分组策略
Storm目前有八种分组策略官网链接1.Shuffle Grouping随机分组,我们使用代码测试一下我们使用之前的求和案例进行修改只需要在Bolt的execute代码中打印一下线程id//num是接收过来的数据System.out.println("Thread id = "+Thread.currentThread().getId() + " , rece date is" + ...原创 2020-03-22 16:55:48 · 238 阅读 · 0 评论 -
Storm并行度代码调整方式
1.Worker设置先丢个官网链接这里我们以之前的求和为案例,修改main方法内容public static void main(String[] args) throws InvalidTopologyException, AuthorizationException, AlreadyAliveException { TopologyBuilder builder = ne...原创 2020-03-22 15:26:41 · 161 阅读 · 0 评论 -
Logstash简单入门使用
1.下载安装Logstash首先需要下载安装Logstashelastic官网链接各个版本下载地址版本选择时请考虑兼容性问题,我这里选择了2.4.1网络不好的同学请多尝试几次下载后直接解压至安装目录就行了,这里不多做赘述2.尝试第一个Logstash先运行最基本的Logstash管道cd logstash-7.6.1bin/logstash -e ‘input { stdin...原创 2020-03-21 16:31:59 · 141 阅读 · 0 评论 -
Storm API(ISpout,IComponent,IBolt)
1.ISpoutISpout是一个核心接口,用于将数据以Tuple方式发送至topology去执行,每个Tuple都会通过一个spout发射出去,storm将会跟踪整个DAG,当storm发现每个Tuple都被成功处理了,那么他就会发送一个ack数据给Spout.如果Tuple执行失败,他就会在topology配置一个timeout,storm会把错误信息发送给Spout当一个spout发送...原创 2020-03-20 18:01:23 · 253 阅读 · 0 评论 -
Storm案例:求和
Storm案例:求和,WordCountA.求和案例首先定义一个类继承BaseRichSpout,需要实现其方法,在这个类你需要产生数据并发送出去public static class DataSourceSpout extends BaseRichSpout { @Override public void open(Map conf, TopologyC...原创 2020-03-20 19:37:44 · 145 阅读 · 0 评论 -
Storm案例:WordCount
Storm案例:WordCountB.WordCount首先定义一个类继承BaseRichSpout,需要实现其方法,在这个类你需要产生数据并发送出去public static class DataSourceSpout extends BaseRichSpout { @Override public void open(Map conf, Topolog...原创 2020-03-20 20:06:33 · 407 阅读 · 0 评论