zbq1334的博客

HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataNode上面，对于开发者来说是透明的。 下面将介绍通过Shell接口对HDFS进行操作，HDFS处理...

1. MapReduce 定义 Hadoop中的MepReduce是一个使用简单的软件框架，基于它写出来的程序能运行在由上千个机器组成的大型集群上，并以一种可靠容错并行处理TB级别的数据集。 2.MepReduce特点 1）MepReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序。这个分布式程序可以分布到大量的廉价PC上运行。也就是说你写一个分布式...