![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
一只小菜鸟(* ̄︶ ̄)
这个作者很懒,什么都没留下…
展开
-
Storm 分组
1.shuffle :随机分组2.field分组 安装指定filed的key进行hash处理, 相同的field,一定进入到同一bolt. 该分组容易产生数据倾斜问题,通过使用二次聚合避免此类问题。3.使用二次聚合避免倾斜。App类:package com.mao.storm.group.shuffle;import org.ap...原创 2019-04-28 09:12:24 · 138 阅读 · 0 评论 -
Storm 编程实现CallLog日志统计
pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...原创 2019-04-25 13:47:20 · 222 阅读 · 0 评论 -
Storm 安装
安装storm集群 0.选择服务器: [s201 ~ s204] 1.下载 下载地址:http://storm.apache.org/downloads.html 2.tar 3.环境变量export STORM_HOME=/soft/stormexport PATH=$PATH:$STORM_HOME/bin...原创 2019-04-25 13:38:29 · 191 阅读 · 0 评论 -
Storm 介绍
storm: 免费、开源、分布式、实时计算系统。 吞吐量高。 每秒每节点百万元组。storm与hadoop比较storm hadoop 实时流处理 批处理 无状态 有状态 使用zk协同的主从架构 无zk的主从架构 每秒处理数万消息 HDFS MR数分钟、数小时 不会主动停止 终有完成的时候 ...原创 2019-04-25 13:32:27 · 155 阅读 · 0 评论 -
Storm 整合Kafka、Hbase
通过storm将kafka生产者发送的消息保存到Hbasepom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...原创 2019-04-28 09:59:08 · 213 阅读 · 0 评论 -
Storm 整合 Hbase
1.描述 将计算结果写入到hbase数据库中。 hbase 高吞吐量 随机定位 实时读写。 2.创建hbase wordcount表,f1 $>hbase shell $hbase shell>create 'ns1:wordcount' , 'f1'3....原创 2019-04-28 09:45:42 · 229 阅读 · 0 评论 -
Storm 整合Kafka
storm以消费者从kafka队列中提取消息1.添加storm-kafka依赖项<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...原创 2019-04-28 09:37:56 · 176 阅读 · 0 评论 -
Storm 确保消息被完成处理
storm确保消息如何被完成处理1.发送的tuple需要携带msgId collector.emit(new Values(line),index);2.bolt中需要对tuple进行确认(ack() | fail())3.实现spout的ack()和fail()方法package com.mao.storm.ensure;import org.apache....原创 2019-04-28 09:34:56 · 244 阅读 · 0 评论 -
Storm 修改log输出
storm-core-1.3.jar下[main/resources目录下]<configuration monitorInterval="60"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%-4r [%t]...原创 2019-04-28 09:30:22 · 613 阅读 · 0 评论 -
Storm 自定义分组
自定义CustomStreamGrouping类package com.mao.storm.group.custom;import org.apache.storm.generated.GlobalStreamId;import org.apache.storm.grouping.CustomStreamGrouping;import org.apache.storm.task.Wo...原创 2019-04-28 09:22:34 · 271 阅读 · 0 评论 -
Storm global分组
global分组 对目标target tasked进行排序,选择最小的taskId号进行发送tuple 类似于direct,可以是特殊的direct分组。package com.mao.storm.group.global;import org.apache.storm.Config;import org.apache.storm.LocalCluste...原创 2019-04-28 09:20:19 · 106 阅读 · 0 评论 -
Storm direct分组
direct(特供) 只发送给指定的一个bolt. //a.通过emitDirect()方法发送元组 //可以通过context.getTaskToComponent()方法得到所有taskId和组件名的映射 collector.emitDirect(taskId,new Values(line)); ...原创 2019-04-28 09:17:49 · 151 阅读 · 0 评论 -
Storm all 分组
all分组 使用广播分组。 builder.setBolt("split-bolt", new SplitBolt(),2).allGrouping("wcspout").setNumTasks(2);package com.mao.storm.group.all;import org.apache.storm.spout.SpoutOutputColle...原创 2019-04-28 09:15:33 · 131 阅读 · 0 评论 -
Storm 流计算实现wordcount(单词统计)
设置top的并发程度和任务 配置并发度. 1.设置worker数据 conf.setNumWorkers(1); 2.设置executors个数 //设置Spout的并发暗示 (executor个数) builder.setSpout("wcspout", new WordCountSpout(),3); ...原创 2019-04-25 13:54:25 · 448 阅读 · 0 评论