云计算
juce
这个作者很懒,什么都没留下…
展开
-
对比MapReduce 流处理框架没有所谓的查询层
Mikio L. Braun柏林工业大学机器学习学博士后,TWIMPACT联合创始人兼首席数据科学家。在其个人博客上简述了主流SPF(Stream Processing Framework)与MapReduce的区别 —— 并没有查询层。 以下为译文: 当着手实时大数据时,SPF不失为MapReduce很好的替代。取代对数据进行批处理,它们在数据出现时就会进行处理;如果你处理的是事件流,使用转载 2013-03-20 14:38:56 · 525 阅读 · 0 评论 -
将OpenStack私有云部署到Hadoop MapReduce环境
私有云简介 私有云 指企业内部的云计算部署,在私有云中,企业利用了数据中心内的各种云计算技术的细微差别。这些差别包括快速弹性、资源池、按需配给和自动化管理。为了在内部将这些属性整合在一起,大多数企业采用了开源的云版本,比如 OpenStack 或 CloudStack。 OpenStack 是最流行的开源云版本,它包括控制器、计算 (Nova)、存储 (Swift)、消息队列 (Rabbit转载 2013-03-20 14:43:51 · 560 阅读 · 0 评论 -
Apache Hadoop集群的安全性架构
这么多年以来,一直有一个声音在“呼唤”健壮的Apache Hadoop安全性架构。考虑到这些节点存储了海量的数据,集群的安全性架构引起了越来越多的关注。HadoopSphere.com公布了一个可以适用于Hadoop集群的安全性架构(如下图所示)。 虽然基于现有的基础设施或定制化的内部监控程序不同,并且使用到的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说,部署必不可少的“警卫”转载 2013-03-20 15:03:30 · 690 阅读 · 0 评论 -
十张图带你入门Map/Reduce
你可能已经知道:Map/Reduce是一种模式,非常适合令人烦恼的并行算法。但是什么是令人烦恼的并行算法?答案:这个算法非常适合被多重并行的执行。那么什么样的模式才会非常适合并行算法?答案:任何作用在数据上的算法都会被隔离。 如果你编写的程序经常会在同一个时刻执行多重事件,并且它们需要访问一些公用数据;那么将会出现冲突,你必须着手处理当一个事件修改某个数据时,而另一个事件正在读取这段数据。这就是转载 2013-03-20 15:05:28 · 377 阅读 · 0 评论 -
在Hadoop上运行SQL:程序员需知晓的13种数据工具
在GigaOM安排Structure: Data的日程的时候,就意识到很有必要讨论在Hadoop上运行SQL查询,然而却未认识到Hadoop上运行SQL查询竟然变的这么重要。本文是Gigaom的资深编辑Derrick Harris 撰写的一篇文章 ,CSDN编译如下: 其实,对SQL支持并不是Hadoop的最终目标,但是这一特性将会帮助Hadoop找寻自己的生存方式,让Hadoop在那转载 2013-03-20 14:41:35 · 700 阅读 · 0 评论 -
YouTube的挑战者 JustinTV教你如何打造实时视频网站
Justin.TV每月有3000万个独立访问量,在游戏视频上传领域打败了YouTube ,他们每天每分钟新增30个小时的视频,而YouTube只有23。 下面从Justin.TV的实时视频系统使用到的平台,他们的架构细节,从他们身上应该学到的东西等几个方面逐一展开。 使用到的平台 Twice —— 代理服务系统,主要用缓冲优化应用服务器负载XFS —— 文件系统HAProxy —— 用于转载 2013-03-20 14:35:13 · 827 阅读 · 0 评论