Spark Note Book

在Hadoop中实现Map/Reduce模型，我们需要继承如下两个类：   public class MaxTemperatureMapper extends MapReduceBase implements Mapper<LongWritable, Text , Text , IntWritable>       public class MaxTemperatur...

Hadoop不是万能的，有些场景适用，有些不适用。 Hadoop设计的目的主要包括下面几个方面，也就是所谓的适用场景： 1：超大文件      可以是几百M，几百T这个级别的文件。 2：流式数据访问       Hadoop适用于一次写入，多次读取的场景，也就是数据复制进去之后，长时间在这些数据上进行分析。 3：商业硬件       也就是说大街上到处都能买到的那种硬件，这样的硬件...

概念：HDFS会把一个很大的文件分块（与传统的文件系统类似），存放在不同的DataNode上。不过这个块是个逻辑概念，比较大，默认是64M。Hadoop以“管理者-工作者”模式运行。NameNode就是管理者，它保存了文件系统中所有文件以及目录信息。也记录了每个文件的分块信息。但这些分块具体在哪些机器上存储则由DataNode自己上报。容错:NameNode的容错：所有的文件访问都要通过NameN...

读取文件：   下图是HDFS读取文件的流程：   这里是详细解释：       1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2）   2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿下一批Block的D...