Storm
Im-back
这个作者很懒,什么都没留下…
展开
-
Storm数据流模型的分析及讨论
本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、Spout、Bolt等等。在Storm中,一个实时应用的计算任务被打转载 2013-09-04 13:28:08 · 687 阅读 · 0 评论 -
Flume-ng+Kafka+storm的学习笔记
Flume-ng+Kafka+storm的学习笔记 Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己的见解这个是flume的架构图 从上图可以看到几个名词:Agent: 一个Agent包含Sourc转载 2014-09-17 09:23:57 · 720 阅读 · 0 评论 -
Storm实战之Trident简介
转载自:[翻译][Trident] Storm Trident 教程英文原址:https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询转载 2014-09-15 10:23:17 · 588 阅读 · 0 评论 -
使用Storm实现实时大数据分析
摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置转载 2014-09-15 13:15:17 · 769 阅读 · 0 评论 -
Storm实战之各组件方法理解
1 Topology构成 和同样是计算框架的Mapreduce相比,Mapreduce集群上运行的是Job,而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束,Topology却只能被手动的kill掉,否则会一直运行下去。 Storm集群中有两种节点,一种是控制节点(Nimbus节点),另一种是工作节点(Supervisor节点)。所有Topo转载 2014-09-12 15:14:07 · 773 阅读 · 0 评论 -
Storm实战之HelloWorld
官网建议首先是Wordcount,个人觉得,如果参考原创 2014-09-12 10:20:15 · 1425 阅读 · 1 评论 -
Storm实战之概念简介
转自:http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.htmlStorm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快—转载 2014-09-12 13:49:49 · 520 阅读 · 0 评论 -
Storm实战之常用命令
twitter storm常用命令1、提交Topologies命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】eg:storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;s转载 2014-09-12 10:41:42 · 532 阅读 · 0 评论 -
Storm实战之环境搭建
去年研究过一段时间的Storm,当时原创 2014-09-12 10:12:23 · 502 阅读 · 0 评论 -
flume+kafka+storm+redis/mysql启动命令记录
1.flume启动bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name fks -Dflume.root.logger=INFO,console2.启动kafka [root@Cassandra kafka]# bin/zookeeper-server-start.sh原创 2014-09-19 09:41:16 · 1251 阅读 · 0 评论 -
Storm安装
0.前台是jdk和zookeeper安装完全。一、安装ZeroMQ1.ZeroMQ安装 http://download.zeromq.org/ 下载: wget http://download.zeromq.org/zeromq-3.2.3.tar.gz2.安装gcc,安装C++编辑器:yum install gcc-c++3.在ZeroMQ目录下运行./configu原创 2013-07-04 17:28:38 · 1090 阅读 · 0 评论 -
Storm 概念
概念这个页面列出了storm的主要概念和查找更多信息的链接。讨论的概述有:1. 拓扑(Topologies)2. 流(Streams)3. 喷嘴(Spouts)4. 螺栓(Bolts)5. 流分组(Stream groupings)6. 可靠性(Reliability)7. 任务(Tasks)8. 工作者(Workers)9. 配置(Configuratio翻译 2013-09-05 11:07:49 · 590 阅读 · 0 评论 -
Storm实时计算:流操作入门编程实践
Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:TopologyStorm中Topology的概念类似于Hadoop中的MapReduce Job,是一个用来编排、容纳一组计算逻辑组件(Spout、Bolt)的对象(Hadoop MapReduce中一个Jo转载 2015-08-17 18:36:18 · 604 阅读 · 0 评论