云计算
文章平均质量分 87
sunjiedodo
这个作者很懒,什么都没留下…
展开
-
storm的前世今生
来源:http://tech.uc.cn/?p=2159 诞 生 在2011年Storm开源之前,由于Hadoop的火红,整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据。但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂。 有需求也就有创造,在Hadoop基本奠定了大数据霸主地位的时转载 2015-03-03 16:05:58 · 664 阅读 · 0 评论 -
storm原理简介
来源:http://www.searchtb.com/2012/09/introduction-to-storm.html 实现一个实时计算系统 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界转载 2015-03-03 16:26:02 · 454 阅读 · 0 评论 -
storm平台搭建(单机版)笔记
我主要是参考这篇http://www.linuxidc.com/Linux/2013-05/84306.htm 但是因为装的Linux系统不同,所以也遇到了不同的问题。 要使用storm首先要安装以下工具: python、zookeeper、zeromq、jzmq、storm 第一步,安装Python2.7.2 (这一步比较简单,一般不会出错) wget htt原创 2015-03-31 17:14:49 · 545 阅读 · 0 评论 -
Storm onyarn
1. 背景知识 (1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。 (2)YARN:YARN是Hadoop 2.0中新引入的资源管理系统,可看做Hadoop操作系统中的资源管理组件,所有应用程序转载 2015-06-19 10:59:06 · 457 阅读 · 0 评论