Hadoop专栏（一）———分布式文件系统HDFS

分布式文件系统HDFS简介

两大核心技术：
分布式存储
分布式处理

文件系统结构

HDFS自身的局限性
1：不适合低延迟数据访问
2.无法高效存储大量小文件
3.不支持多用户写入及任意修改文件

HDFS实现目标

HDFS相关概念

HDFS采用这种抽象的块的概念设计好处

元数据

为什么要这样设计

名称节点

FsImage

HDFS存储原理

由于采用的是低廉成本机器进行存储，所以会不断的出故障。
基于这种情况，就必须要冗余数据，保存

冗余存储这种设计的好处：
01.加快数据传输速度
02.很容易检查数据错误
03保存数据可靠性
块拿到手后如何进行分布式存储：
第一副本：优先放在磁盘不太满，CPU不太忙的节点
第二副本：放在和第一个副本不同的节点
第三副本：放在第一副本相同的节点的机架上

数据读取
HDFS提供一个API可以确定一个数据节点所属的机架ID，客户端也可以调用API获取自己所属的机架ID
当客户端读取数据时，从名称节点获取数据块不同副本的存储位置列表，列表中包含了副本所在的数据节点，可以调用API来确定客户端和这些数据节点所属的机架ID，当发现某个数据块副本对应的机架ID和客户端对应的机架ID相对应的优先选择该副本读取数据，如果没有发现，就随机选择一个副本读取数据。
数据的错误和恢复
1.名称节点出错
FsImage
EditLog

2.数据节点出错
（1）如何判断出错
数据节点会定期向名称节点发送信息

3.数据出现错误
（1）如何判断出错
校验码校验，客户端每写一个文件，就会为这个文件写一个校验码，保存在同一个文件下
校验不一致，则说明数据错误和恢复，进行冗余的复制

HDFS读取过程

pubic static void main(String[] args){
	try{
		Configuration conf=new Configuration();
		FileSystem fs=FileSystem.get(conf);
		Path filename=new Path("hdfs://localhost:9000/user/hadoop/test.txt");
		FSDataInputStream is=fs.open(filename);
		BufferdReader d =new BufferedReader(new InputStreamReader(is));
		String context=d.readLine();//读取文件一行
		System.out.println(content);
		d.close();//关闭文件
		fs.clpse();//关闭hdfs
	}catch(Exception e){
		e.printStackTrace();
	}
}

FileSystem

第一步：打开文件

FileSystem fs=FileSystem.get(conf);

第二步：获取数据块信息

FileSystem fs=FileSystem.get(conf);

第三步：读取信息

Path filename=new Path("hdfs://localhost:9000/user/hadoop/test.txt");

第四步：读取数据

FSDataInputStream is=fs.open(filename);

第五步：获取数据块信息
通过ClientProtocal.getBlockLocations()查找下一个数据块

BufferdReader d =new BufferedReader(new InputStreamReader(is));

第六步：读取数据

String context=d.readLine();//读取文件一行

第七步：关闭文件

d.close();//关闭文件
fs.clpse();//关闭hdfs

HDFS写数据过程

第一步：创建文件请求
第二步：创建文件元数据
第三步：写入数据
第四步：写入数据包
第五步：接受确认包
第六步：关闭文件
第七步：写操作完成

HDFS编程实践

HDFS的基本编程方法

Hadoop中常用的三种命令

hadoop fs的三个常用指令

注意本地文件与分布式文件是不同的

除了使用命令来控制，还可以使用网页来管理文件

利用JavaApi和HDFS交互

编写代码