Storm
文章平均质量分 92
joeywen
努力做正确的事
展开
-
流处理框架Storm简介
转载一篇Storm简介的文章,由EMC中国研究院 向东 写的,写的很好!序言提起Big Data,人们往往会提起大数据的4个V: Volume,Velocity , Variety 以及Value。这四个V从各个侧面说明了大数据并不是新瓶装旧酒: 面对数据产生来源,产生方式,处理方式等等一系列质变,原来适用的数据挖掘/BI工具已经不再满足实际需要,人们迫切需要新的计算模式,基础架构以及开箱转载 2014-01-07 10:45:11 · 2395 阅读 · 0 评论 -
Linux索引节点(Inode:no space for device)用满导致的一次故障
在storm集群上出现的no space for device的错误,任何服务都无法开启,文件无法创建,发现是inode已满,然后找到解决方案并成功解决原创 2015-07-18 15:05:39 · 2719 阅读 · 0 评论 -
Twitter 新一代流处理利器——Heron 论文笔记之Storm Limitations
Twitter Heron 论文笔记,简单介绍论文前半部分对storm局限性,从Storm worker、Nimbus以及资源分配这些来阐述目前Storm存在的问题。原创 2015-06-03 18:01:54 · 4398 阅读 · 0 评论 -
Storm杂谈之Acker拾趣
Storm杂谈之Acker拾趣本文所讲内容并非storm的acker机制,而是讲讲开acker和不开acker的具体区别以及在storm源码中是怎样实现的原创 2015-05-28 10:12:29 · 2122 阅读 · 1 评论 -
Storm之trident序列化问题
在使用Storm的trident做流计算开发时,遇到一个诡异的问题:我继承IPartitionedTridentSpout或者IOpaquePartitionedTridentSpout接口做事务型实时计算的开发,类型T通常是用来每个批次序列化到ZK中的偏移量。我遇到的问题是:只要实时应用启动后不终止,每个批次发送的消息的偏移量都是接着上一个批次消息的偏移量继续向后移动的。但是只要应用终止转载 2014-12-13 01:41:53 · 1373 阅读 · 1 评论 -
Storm杂谈之Topology的启动过程(二)
topology启动粗糙的简介原创 2014-12-12 00:44:13 · 3855 阅读 · 0 评论 -
Storm问题——组件带参数构造函数未被调用,抛出NullpointerException
storm开发中遇到的问题原创 2014-12-12 01:06:17 · 1646 阅读 · 0 评论 -
storm杂谈之Why use netty as transport instead of zeromq
Why use netty as transport instead of zeromq in Storm原创 2014-12-18 21:47:54 · 3253 阅读 · 1 评论 -
Storm杂谈之Topology的启动过程(一)
简单介绍了storm topology启动时的大概过程原创 2014-12-11 01:12:09 · 4914 阅读 · 0 评论 -
DAG (directed acyclic graph) 作为大数据执行引擎的优点
TL;DR - Conceptually DAG model is a strict generalization of MapReduce model. DAG-based systems like Spark and Tez that are aware of the whole DAG of operations can do better global optimizations than原创 2014-12-04 14:29:04 · 7403 阅读 · 0 评论 -
storm运行异常之No output fields defined for component:stream XxxBolt:null
storm运行异常之No output fields defined for component:stream XxxBolt:null的可能原因原创 2015-01-05 18:12:41 · 5700 阅读 · 0 评论 -
storm运行异常之No output fields defined for component:stream XxxBolt:null疑案追踪
对于No output fields defined for component:stream XxxBolt:null异常代码调用堆栈的分析过程原创 2015-01-07 11:26:54 · 5760 阅读 · 0 评论 -
Spark 与Storm 异同
http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.htmlStorm vs. Spark Streaming: Side-by-side comparisonOverviewBoth Storm and Spark Streaming are open-原创 2014-08-12 10:05:33 · 2849 阅读 · 0 评论 -
[Storm 0.8.2]: java.io.FileNotFoundException: File '../stormconf.ser' does not exist
https://issues.apache.org/jira/browse/STORM-130--------- viceyang: We encountered the same problem, our version is 0.8.3, i read supervisor code, it seems not a bug, the key reason is "synchroni原创 2014-03-14 14:22:29 · 2229 阅读 · 0 评论 -
Streaming Real-time Data Into HBase
Hbase 写优化转载 2016-06-03 11:35:24 · 896 阅读 · 0 评论