Map/Reduce
fengke86
这个作者很懒,什么都没留下…
展开
-
Lucene-Hadoop, GFS中Map/Reduce的简单实现
Hadoop是一个用于构建分布式应用程序的框架。Hadoop框架给应用程序透明的提供了一组稳定和可靠的接口。这项技术的实现得易于映射/ 归约编程范式。在这个范式里,一个应用程序被分割成为许多的小的任务块。每一个这样的任务块被集群中的任意一个节点的计算机执行或重新执行。此外,这种范 式还提供了一种分布式的文件系统,这种文件系统用来存储数据于集群中相互间具有高带宽的计算机上。映射/归约和分布式文件系统...原创 2009-10-04 10:29:45 · 99 阅读 · 0 评论 -
hadoop集群在linux下的安装
NOTE:因为hadoop远程调用用的是RPC,所以linux系统必须关闭防火墙service iptables stop1.vi /etc/inittabid:5:initdefault:改为id:3:initdefault:即为字符型启动2.ip configuration:/etc/sysconfig/network-scripts/3.vi /etc/hos...原创 2009-10-04 10:38:32 · 98 阅读 · 0 评论 -
Hadoop学习笔记一 简要介绍
这里先大致介绍一下Hadoop.本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结。言归正传,先说一下Hadoop的来龙去脉。谈到Hadoop就不得不提到Lucene和Nutc...原创 2009-10-04 10:43:28 · 67 阅读 · 0 评论 -
(Meng Yan )Map Reduce - the Free Lunch is not over?
微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章:”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“,预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象:”Andy giveth, and Bill...原创 2009-10-04 10:59:15 · 123 阅读 · 0 评论 -
Hadoop学习笔记二 安装部署
本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74这里有一点需要强调的就是,务必要确保每台机器的主机名...原创 2009-10-04 11:03:24 · 69 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程
一 Hadoop 简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。也许到目前为止,Hadoop 还不是那么广为人知,其最新的版本号也仅仅是 0.16,距离 1.0 似乎都还有很长的一段距离,但提及 Hadoop ...原创 2009-10-04 11:36:24 · 116 阅读 · 0 评论