然然然星人的博客

1. HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据2. HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目

HDFS读文件流程（上传文件） 1 客户端与nameNode通讯 1.1 客户端像nameNode发送上传文件请求。 1.2 nameNode返回响应，允许客户端上传文件。 1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。 1.4 客户端向nameNode发出RPC请求上传第一个block，

之前梳理了一下hdfs客户端的简单流程，但为了跟深刻的了解，所以尝试通过源码了解一次。先准备demo代码，将断点打在fs.copyFromLocalFile()。public class HdfsClientDemo { FileSystem fs = null; Configuration conf = null; @Before public void init() throws Ex...