storm
大数据的未来
这个作者很懒,什么都没留下…
展开
-
storm trident function函数
package cn.crxy.trident;import java.util.List;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generated.StormTopology;import backtype.storm.tupl原创 2015-08-23 12:38:18 · 1281 阅读 · 1 评论 -
strom 官方DRPC
storm 官方DRPCpackage drpc;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.LocalDRPC;import backtype.storm.StormSubmitter;import backtype.storm.drpc.LinearD原创 2015-10-04 21:04:58 · 900 阅读 · 0 评论 -
storm的集群安装与配置
storm集群安装机器:(storm及zookeeper都是这3台机器)192.168.80.20192.168.80.21192.168.80.22需要准备的软件有:zookeeper(zookeeper-3.4.4.tar.gz),storm(storm-0.8.1.zip) ,jdk1、配置zookeeper这里就不介绍了!原创 2015-08-08 12:35:21 · 955 阅读 · 2 评论 -
storm单词计数 本地执行
import java.io.File;import java.io.IOException;import java.util.Collection;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import org.a原创 2015-08-07 23:29:06 · 936 阅读 · 1 评论 -
storm 远程过程调用及客户端调用
server端:import java.util.Map;import org.apache.thrift7.TException;import backtype.storm.Config;import backtype.storm.ILocalDRPC;import backtype.storm.LocalCluster;import backtype.storm.Loc原创 2015-08-23 00:02:59 · 2470 阅读 · 0 评论 -
storm trident merger
import java.util.List;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generated.StormTopology;import backtype.storm.tuple.Fields;import backtype.storm.t原创 2015-08-23 12:50:15 · 783 阅读 · 0 评论 -
storm fieldsGrouping按照字段分组
package cn.crxy.storm;import java.util.Map;import backtype.storm.Config;import backtype.storm.StormSubmitter;import backtype.storm.generated.AlreadyAliveException;import backtype.sto原创 2015-08-22 21:21:44 · 4813 阅读 · 0 评论 -
storm 并行度
1个worker进程执行的是1个topology的子集(注:不会出现1个worker为多个topology服务)。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此,1个运行中的topology就是由集群中多台物理机上的多个worker进程组成的。executor是1个被worker进程启动的单独线程。每原创 2015-08-22 22:14:23 · 977 阅读 · 0 评论 -
storm 消息确认机制及可靠性
worker进程死掉在一个节点 kill work进程 比如 kill 2509 对work没有影响 因为会在其他节点重新启动进程执行topology任务supervisor进程死掉supervisor进程kill掉 对work进程没有影响 因为他们是互相独立的!!nimbus进程死掉(存在HA的问题)nimbus如果死掉 整个任务挂掉 存在单点故障问题!(hadoop2有原创 2015-08-22 22:01:52 · 1690 阅读 · 0 评论 -
storm shuffleGrouping随机分组
import java.util.Map;import backtype.storm.Config;import backtype.storm.StormSubmitter;import backtype.storm.generated.AlreadyAliveException;import backtype.storm.generated.InvalidTopologyExce原创 2015-08-22 21:28:38 · 4013 阅读 · 0 评论 -
storm trident groupby
import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generat原创 2015-08-23 14:39:35 · 1417 阅读 · 0 评论 -
storm trident实现单词计数
package cn.crxy.trident;import java.io.File;import java.util.Collection;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import org.apac原创 2015-08-23 14:06:07 · 1022 阅读 · 2 评论 -
storm trident 自定义spout
package cn.crxy.trident;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import storm.trident.TridentTopology;import storm.trident.ope原创 2015-08-23 13:24:37 · 1565 阅读 · 0 评论 -
storm trident
import java.util.List;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generated.StormTopology;import backtype.storm.tuple.Fields;import backtype.storm.t原创 2015-08-23 12:40:18 · 707 阅读 · 0 评论 -
kafka+storm+hbase架构设计
kafka+storm+hbase架构设计我们都知道,kafka作为分布式消息系统,实时消息系统,有生产者和消费者;storm作为大数据的实时处理系统;hbase是apache hadoop 的数据库,其具有高效的读写性能!这里把kafka生产的数据作为storm的源头spout来消费,经过bolt处理把结果保存到hbase。基础环境:这里就不介绍了!!hadoop集群ka原创 2015-09-26 15:11:54 · 7547 阅读 · 13 评论