storm
文章平均质量分 62
guoqiangma
这个作者很懒,什么都没留下…
展开
-
对互联网海量数据实时计算的理解
转自 http://www.cnblogs.com/panfeng412/archive/2011/10/28/realtime-computing-of-big-data.html1. 实时计算的概念互联网领域的实时计算一般都是针对海量数据进行的,除了像非实时计算的需求(如计算结果准确)以外,实时计算最重要的一个需求是能够实时响应计算结果,一般要求为秒级。个人理解,互联网转载 2012-10-30 23:11:20 · 847 阅读 · 0 评论 -
Twitter Storm简介与入门
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/109/twitter-storm简介/ 本文翻译自storm官方wiki: https://github.com/nathanmarz/storm/wiki/Rationale背景过去的十转载 2012-01-09 22:41:49 · 3590 阅读 · 0 评论 -
STORM:/usr/local/lib/libjzmq.so.0.0.0: wrong ELF class: ELFCLASS64
这种问题多半是java环境变量导致的,在服务器端是64位java ,而编译程序和运行的是32位的,检查java的版本就OK了# java -versionjava version "1.6.0_30"Java(TM) SE Runtime Environment (build 1.6.0_30-b12)Java HotSpot(TM) 64-Bit Server VM (build原创 2013-08-22 11:04:20 · 1188 阅读 · 0 评论 -
基于storm的实时框架
核心的实时架构和基于storm的实时架构的设计.一、实时的框架简介背景数据流计算来自于一个信念:数据的价值随着时间的流逝而降低,所以事件出现后必须尽快地对它们进行处理,最好数据出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。核心架构互联网上海量数据(一般为日志流)的实时计算过程可以被划分为以下三个阶段:数据的产生与收集阶段、传输原创 2014-04-11 18:38:42 · 2333 阅读 · 0 评论 -
Storm Found multiple defaults.yaml resources
运行storm应用程序的的时候报了这个错这个想了下,肿么会有多个呢,后面觉得应该是在应用的jar包里面也把storm的defaultsyarm打进去了。找了下只看到[html] view plaincopy groupId>stormgroupId>转载 2014-07-22 16:57:48 · 1962 阅读 · 0 评论 -
Storm常见模式------TimeCacheMap
Storm常见模式------TimeCacheMapStorm中使用一种叫做TimeCacheMap的数据结构,用于在内存中保存近期活跃的对象,它的实现非常地高效,而且可以自动删除过期不再活跃的对象。TimeCacheMap使用多个桶buckets来缩小锁的粒度,以此换取高并发读写性能。下面我们来看看TimeCacheMap内部是如何实现的。1. 实现原理桶链表:转载 2015-03-30 11:30:55 · 918 阅读 · 0 评论