Hadoop学习笔记
文章平均质量分 87
Mr羽墨青衫
专注
展开
-
Hadoop的源起与体系介绍
一、浅谈 hadoop名字源自于DougCutting的儿子的玩具大象,叫hadoop。 形成过程:Lucene-->nutch-->hadoop。 在hadoop上做开发最主流的手段是java。 二、术语解释 NDFS:Nutch Distributed Fil原创 2013-11-10 16:17:34 · 1549 阅读 · 1 评论 -
Google PageRank
MapReduce分布式计算:原创 2013-11-10 16:39:48 · 701 阅读 · 0 评论 -
实施Hadoop集群
一、引述 搜索引擎会遇到如何将大量的网页存储的问题。那么龙头老大Google就弄出了一个Google File System,一个分布式的存储系统,通过很多的小型PC机(很普通的计算机)分布式的将网页抓取、存储、调度,井井有条。 也会遇到很多的计算问题,比如搜索出一大堆的结果,那么应该向用户推荐哪些网页呢。就需要对网页的价值进行评估,在Google中是用PageRank计算出来的。PageRa原创 2013-11-10 16:34:27 · 1602 阅读 · 3 评论