码农的苦逼日常

Hadoop优点： ①高容错性： 数据自动保存多个副本 副本丢失后自动恢复 ②适合批处理 移动计算而非数据 数据位置暴露给计算机框架 ③适合大数据处理 GB、TP、甚至PB级数据 百万规模以上的文件数量 10K+节点 ④可构建在廉价机器上 通过多副本提高可靠性 提供了容错和恢复机制Hadoop缺点 ①

HDFS读流程 客户端调用API的open方法请求NameNode 获得block的位置信息，文件内容存储的不同的block上，然后返回客户端。客户端并发的读不同的block，然后合并成一个文件。（不能超大型文件，磁盘存储可能不够）HDFS写流程客户端调用API的create方法请求NameNode 并创建一个文件，然后将文件的名字，拥有者，大小返回客户端。计算该文件分成多少个block，将blo