hadoop
wbx9011
这个作者很懒,什么都没留下…
展开
-
用通俗易懂的大白话讲解Map/Reduce原理
Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop:原创 2015-03-21 15:47:38 · 580 阅读 · 0 评论 -
google论文mapreduce
MapReduce:超大机群上的简单数据处理 摘要MapReduce是一个编程模型,和处理、产生大数据集的相关实现。用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集。然后再指定一个reduce函数合并所有的具有相同中间key的中间value。下面将列举许多可以用这原创 2015-11-04 22:38:55 · 1189 阅读 · 0 评论 -
hadoop的负载均衡
http://www.docin.com/p-983264922.html原创 2015-11-05 16:04:28 · 546 阅读 · 0 评论 -
Hadoop作业调度算法
Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现,同时也减轻了jobtracker的负担。但是它的缺点也是显然的,它对所有的作业都一视同原创 2015-10-12 13:47:12 · 462 阅读 · 0 评论 -
HDFS的运行原理
http://www.cnblogs.com/laov/p/3434917.html原创 2015-11-02 18:10:24 · 343 阅读 · 0 评论 -
分布式文件系统:原理、问题与方法
转载:http://blog.csdn.net/it_yuan/article/details/8980849本地文件系统如ext3,reiserfs等(这里不讨论基于内存的文件系统),它们管理本地的磁盘存储资源、提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。但随着互联网企业的高速发展,这些企业对数据存储的要求越来越高,而且模式各异,如淘宝主站的大量商品图片,其特点是文件较原创 2015-11-02 18:09:32 · 640 阅读 · 0 评论 -
hadoop中mapreduce的执行过程
http://my.oschina.net/itblog/blog/275294原创 2015-11-04 11:53:52 · 382 阅读 · 0 评论