Hadoop
文章平均质量分 91
iteye_18139
这个作者很懒,什么都没留下…
展开
-
用 Linux 和 Apache Hadoop 进行云计算
原文 http://www.ibm.com/developerworks/cn/aix/library/au-cloud_apache/ 云计算简介 近来云计算越来越热门了,云计算已经被看作 IT 业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以通过 Internet 访问 “云” 中的任何资源,而不需要担心计算能力...原创 2010-10-31 19:53:48 · 108 阅读 · 0 评论 -
微软展开“大数据”蓝图,推进Hadoop至Azure和Windows Server
原文 http://www.iteye.com/news/23045 微软已经展开了他们的“大数据”蓝图,其中担当主要角色的就是Apache Hadoop。 Hadoop是一个分布式系统基础架构,由Apache基金会开发。它是一个能够对大量数据进行分布式处理的软件框架。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。在12日西雅图召开的微软...原创 2012-07-31 10:13:15 · 185 阅读 · 0 评论 -
淘宝数据魔方技术架构解析
原文 http://www.programmer.com.cn/7578/ 淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。 为此,我们进行了一系列数据产...原创 2012-07-31 10:09:23 · 201 阅读 · 0 评论 -
Hadoop分布式文件系统:架构和设计要点
摘自 http://www.blogjava.net/killme2008/archive/2008/06/05/206043.html Hadoop分布式文件系统:架构和设计要点原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的serve...原创 2012-07-31 10:07:56 · 85 阅读 · 0 评论 -
Apache Hadoop 2.0 Alpha 版发布
原文 http://www.iteye.com/news/25197 Apache Hadoop社区近日发布了最新的Apache Hadoop 2.0 Alpha版本,这标志着Apache Hadoop进入了一个新的分支。 Hadoop是Apache的顶级开源项目,由前雅虎开发者Doug Cutting(也是Nutch和Lucene的创始人)开发的分布式计算平台,是一个能够对大...原创 2012-07-30 16:10:00 · 123 阅读 · 0 评论 -
MongoDB Hadoop Connector 1.0 正式版发布
原文 http://www.iteye.com/news/24811 10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。 MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实...原创 2012-07-30 16:01:56 · 88 阅读 · 0 评论 -
VMware发布开源项目Serengeti,支持云中部署Apache Hadoop
原文 http://www.iteye.com/news/25341 全球虚拟化和云基础架构领导厂商VMware公司今天公布了最新开源项目——Serengeti,支持企业能够在虚拟和云环境中快速部署、管理和扩展Apache Hadoop。此外,VMware与Apache Hadoop社区共同合作研发扩展功能,让主要组件可以“感知虚拟化”以支持灵活扩展,并进一步提高Hadoop在虚拟化环境中...原创 2012-07-30 15:55:39 · 393 阅读 · 0 评论 -
hadoop的1TB排序
主题:hadoop的1TB排序 作者 yunsamzhang 1、1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分...原创 2012-07-23 11:18:47 · 123 阅读 · 0 评论 -
Hadoop概念及其用法专家讲解
原文 http://developer.51cto.com/art/201006/203789.htm 本节和大家继续学习Hadoop,Hadoop是一个分布式系统基础架构,由Apache基金会开发。它有什么奥秘呢,就让我们一起来继续关注Hadoop吧。 条款6:多个大输入的Job建议使用串行执行,多个小输入的Job建议使用并行执行。 Hadoop的任务处理分为map阶段以及reduc...原创 2010-11-08 22:12:50 · 145 阅读 · 0 评论 -
开源框架Hadoop实现分布式计算
原文 http://developer.51cto.com/art/201006/203836.htm 本节和大家一起学习一下分布式计算开源框架Hadoop,本节主要内容有Hadoop概念的介绍和Hadoop相关计算方法,希望通过本节的学习,大家对Hadoop的分布式计算有一定的认识。 分布式计算开源框架Hadoop介绍 引用 Hadoop是Apache开源组织的一个分布式计算开源...原创 2010-11-08 22:04:15 · 221 阅读 · 0 评论 -
Google在新的内容索引系统中放弃MapReduce
原文 http://www.hadoopor.com/thread-1880-1-1.html Google在新的内容索引系统中放弃MapReduce mapreduce, google, 云计算 有消息表明,Google在新型网络内容索引系统——Caffeine中,将放弃以MapReduce为基础架构的分布式计算平台。据Google高级主管Eisar Lipk...原创 2012-07-31 10:30:18 · 208 阅读 · 0 评论