HDFS分布式文件系统特征block底层

HDFS分布式文件系统特征block底层

转载注明出处： http://blog.csdn.net/jackie_zhf/article/details/79467624

众多分布式文件系统为什么用HDFS？

a、可以移动计算到数据所在节点；

b、就近读取数据文件和计算

Look 代码：

private static void blk() throws Exception { Path ifile = new Path(""); FileStatus file = fs.getFileStatus(ifile ); // 获取block的location信息 HDFS分布式文件存储系统根据其偏移量的位置信息来读取其内容 BlockLocation[] blk = fs.getFileBlockLocations(file , 0, file.getLen()); for (BlockLocation bb : blk) { System.out.println(bb); } FSDataInputStream input = fs.open(ifile); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); // 指定从哪个offset的位置偏移量来读 input.seek(1048576); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); System.out.println((char)input.readByte()); input.seek(1048576); System.out.println((char)input.readByte()); }

结果可见 其offset偏移量和所在位置（当前完整文件大小为1.5MB左右；设置blocksize大小为1MB，一共切分为2个block；副本数为1个）：

注意：

我们知道block存储位置但是数据文件【文件的block】对客户端计算程序不可见，一个程序只能通过HDFS的接口去分布式文件系统中的block所在位置去读取文件对应的数据区间位置offset（文件从哪里到哪里读）并计算。

转载注明出处： http://blog.csdn.net/jackie_zhf/article/details/79467624