Hadoop理解

作为分布式系统而言,有两个重要内容(当然还有其它的内容,这里仅仅讨论hadoop的核心):分布式存储和分布式计算。

分布式存储的原理:将一个大文件划分成若干部分,存储到不同的节点上(副本存储)。
好处:1)由于有副本存储,某个节点的down机不会影响到整个集群的使用,数据还是可以保证完整性的;
2)大文件划分小文件存储,这样便于后面的处理。这是因为计算节点(存储节点是同一个概念)可以处理这一部分数据,多个
计算节点可以并行处理。
整个来讲,HDFS的原理比较容易读,本质上讲,它是一个文件系统,只不过是分布式的,你也完全写一个简单的分布式文件系统出来的,只要你想做。

在讲分布式计算之前,我们来考虑一个问题,假设我们想完成一个任务:统计文章中哪些词出现的概率比较大。你会怎么做呢?

1.如果数据量小的话:
1)一个文件一个文件地读;
2)建立一个hashmap,key就是单词,value是频率;
3)如此循环。

2.如果数量大的话:
你会将这些文件分成若干部分,放到N台机器上并行运行,然后结果再合并。

问题:1)文件的分配,一个个复制吗?
2)结果合并,容易吗?

所以,出现了分布式计算框架,它要解决的问题就是上面的两点。
第1)点已经解决了,因为文件本身就是存储在不同的计算节点上的;
第2)其实包含了几个部分:
a)文件的打开与读取(Hadoop是一行一行的读);
b)中间结果的保存(也是存储到文件中去);
c)中间结果的合并和输出(最终结果存储到文件中去)。

你会发现,它的设计思想就是这么简单。然而要设计一个分布式系统框架,还是有很多事情要考虑的,这一点需要自己去体会。
发布了59 篇原创文章 · 获赞 1 · 访问量 3714
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览