大数据笔记_1

需求1：
1. 有一万个单词，需要进行存储到
2. 任意查找某个单词，要求时间复杂度为o(10) ，如何实现？

需求2：
有一个非常大的文本文件（5T），里面有很多行，只有两行一样，他们出现再未知的位置，需要查找他们，使用一台普通的电脑如何实现？
1. 通过hash算法，将文件散列成n多个小文件（小到内存可以放下），这样的话相同的行肯定再这个小文件中
2. 然后再读取每一个文件，放入内存，再进行检索 

需求3：
有一个1T大小的文件，里边存储的是数字，然后对这些数字全排序
方法1： 根据数值区间分割文件，比如0到100到去a文件，100到200的去b文件，以此类推，分割完成之后，再对 a b c..小文  件排序
方法2： 一次读取50M的数据，放入内存进行排序，然后放入a文件，再读取50M的数据放入内存排序，然后放入b文件，
以此类推，这样的话就得到内部有序，外部无序的多个文件。然后再使用归并排序算法。
具体的归并的实现：
比如说获取了三个内部有序的文件，这三个文件分别取出第一个数，然后比较，把最小的写入另外一个文件，紧接着读取刚才那个最小数值文件的下一个，再进行比较，一次类推，最终得到另外一个有序的文件

对于需求2来说，如果使用多台机器计算的话，能减少多少时间呢？

总结大数据的结论：
分而治之 并行计算  计算像数据移动   数据本地化读取   

Hadoop 项目包括 Hadoop Common  , Hadoop Distributed File System , Hadoop Yarn , Hadoop MapReduce