![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
文章平均质量分 81
SAN_YUN
这个作者很懒,什么都没留下…
展开
-
Storm配置项详解
什么是Storm?Storm是twitter开源的一套实时数据处理框架,基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下,通常名为storm.yaml,它符合yaml格式要求。配置项详解:以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Based sto...原创 2013-11-26 15:08:58 · 110 阅读 · 0 评论 -
Understanding the Internal Message Buffers of Storm
原文:http://www.michael-noll.com/blog/2013/06/21/understanding-storm-internal-message-buffers/Understanding the Internal Message Buffers of StormJun 21st, 2013 When you are optimizing the per...原创 2014-04-22 16:10:56 · 187 阅读 · 0 评论 -
Getting Started With Storm 译文汇总
http://javanlu.github.io/blog/2013/11/01/getting-started-with-storm-summary-navigation/趁着使用Storm的热情,将 Getting Started With Storm 翻译了一下。本人水平有限,如果对某些概念和原理理解错误,请批评指正,切勿打脸。现将译文汇总:第一章 基础第二章 入门实例...原创 2014-08-20 21:24:59 · 210 阅读 · 0 评论 -
[翻译][Trident] Storm Trident 教程
原文:http://blog.csdn.net/derekjiang/article/details/9126185 Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话,那么应该毕竟容易理解Trident,...原创 2014-08-14 21:39:54 · 156 阅读 · 0 评论 -
Storm 概念梳理
Storm 概念梳理刚接触storm,梳理了一些概念性的东西,对于 storm 中提到的一些名词做一些解释,重点在于搞清楚 storm 中很多组件设置的并发度,在实际的运行时是怎么体现出来的,另外对于设置 Stream 和 tuple 的 Grouping 方式相对于已有的文档,做了一些补充,这个对于写程序时设置Topology时会有帮助,有理解的不对的地方,欢迎指正。1. stor...原创 2014-07-23 14:43:38 · 209 阅读 · 0 评论 -
storm环境配置
strom 跑起来还是很容易的,基本之需要两个步骤. 步骤一,编辑conf/storm.yaml:java.library.path: "/usr/local/lib"storm.local.dir: "/duitang/data/storm-data"#storm.zookeeper.servers: - "10.232.68.58"storm.zookeeper.se...原创 2013-12-08 19:15:10 · 87 阅读 · 0 评论 -
storm文档集合
Storm:最火的流式处理框架: http://tech.uc.cn/?p=2159原创 2013-12-07 16:25:04 · 90 阅读 · 0 评论 -
storm Trident tutorial
Trident tutorialTrident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly intermix high throughput (millions of messages per second), stateful st...原创 2013-12-02 11:52:48 · 118 阅读 · 0 评论 -
理解storm的并行执行,workder,executor,task的关系以及调度算法
官方对storm中worker,executor,task讲解非常清楚,https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology 转载到个人博客上。一图胜千言: Storm distinguishes between the following three...原创 2013-11-26 16:38:56 · 299 阅读 · 0 评论 -
集群资源调度系统简介与galaxy资源调度系统简介
随着公司业务的飞速发展,集群规模的逐步扩大,各计算系统,存储系统,应用系统也随着业务的发展,一个接一个的被创造了出来。但集群规模扩大以后, 却带来很多问题,如自动化部署,集群整体利用率偏低等问题也逐步的暴露出来。所以,迫切的需求一套集群资源调度系统来解决这些问题。各大互联网公司也相继 搞出了一些系统,如omega(google),yarn(apache社区,hadooop下面的一个分支,开源),...原创 2013-11-26 16:09:05 · 287 阅读 · 0 评论 -
Google使用Pipeline统一了大数据批处理和流处理
Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce,很多人误解为MR没有用了,以为MR被新的技术替代,其实并不是这回事。目前大数据处理领域主要有MR代表的批处理和Storm代表的流式实时处理。批处理的缺点是实时性比较差,在Storm作者提出的大数据Lambda架构中,曾经提出近期数据归为Storm来处理,如果超过一定期限由MR...原创 2014-09-22 16:37:05 · 608 阅读 · 0 评论