1、hdfs 概述
数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。
是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
通透性。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。
容错。即使系统中有某些节点宕机,整体来说系统仍然可以持续运作而不会有数据损失【通过副本机制实现】。 分布式文件管理系统很多,hdfs只是其中一种,不合适小文件。
2、hdfs 体系结构
1)NameNode
NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
文件包括:
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件,namenode启动后一些新增元信息日志。(默认时间为1h,默认edits文件大小为64M)
checkpoint合并:
将上一个版本的fsimage+最新的edits操作文件=最新的fsimage
2)Secondary NameNode
帮助namenode管理当前hdfs
1.Secondary通知namenode切换edits文件
2.Secondary从namenode获得上一版fsimage和最新的edits
3.Secondary将fsimage载入内存,然后开始合并edits
4.Secondary将新的fsimage发会给namenode
3)DataNode
提供真实文件数据的存储服务。
文件块(block):最基本的存储单位。HDFS默认Block大小是128MB, 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
Replication,多复本,默认是三个。
3、hdfs java调用
FileSystem
fileSysterm是使用java代码操作hdfs的api接口
文件操作
create 写文件
open 读取文件
delete 删除文件
目录操作
mkdirs 创建目录
delete 删除文件或目录
listStatus 列出目录的内容(获取多个文件)
getFileStatus 显示文件系统的目录和文件的元数据信息(获取单个文件)
getFileBlockLocations 显示文件存储位置
4、RPC和HDFS调用
/**
* Java代码操作hadoop
* Java在Windows中,Hadoop在Linux中
* 相当于网络编程(RPC模式)
*/
public class HadoopAPI {
FileSystem fs;
//连接
@Before
public void inti() throws Exception{
//hadoop配置文件 自动获取hadoop-hdfs的配置文件
Configuration conf = new Configuration();
conf.set("dfs.replication","1");
URI uri = new URI("hdfs://master:9000");
fs= FileSystem.get(uri, conf);
}
//创建目录
@Test
public void mkdir() throws Exception{
fs.mkdirs(new Path("/mk"));
}
//删除目录或文件
//true表示迭代删除
@Test
public void delete() throws Exception{
fs.delete(new Path("/student.txt"),false);
}
@Test
public void list() throws Exception{
FileStatus[] fs = this.fs.listStatus(new Path("/"));
for (FileStatus f : fs) {
System.out.println(f);
System.out.println(f.getLen());
System.out.println(f.getBlockSize());
System.out.println(f.getPath());
System.out.println(f.getReplication());
}
}
//读取文件
@Test
public void load() throws Exception{
FSDataInputStream open = fs.open(new Path("/student.txt"));
BufferedReader br = new BufferedReader(new InputStreamReader(open));
String line;
while((line=br.readLine())!=null){
System.out.println(line);
}
br.close();
open.close();
}
//写文件
@Test
public void create() throws Exception{
FSDataOutputStream create = fs.create(new Path("/test.txt"));
BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(create));
bw.write("你好!");
bw.newLine();
bw.write("世界!");
bw.newLine();
bw.close();
create.close();
}
//上传
@Test
public void copyFromLocal() throws Exception{
Path hdfs =new Path("/");
Path local =new Path("D:\\BigData\\ideaProjects\\bd13\\data\\student.txt");
fs.copyFromLocalFile(local,hdfs);
}
//下载
@Test
public void copyToLocal() throws Exception{
Path hdfs=new Path("/test.txt");
Path local=new Path("D:\\BigData\\ideaProjects\\bd13\\data");
fs.copyToLocalFile(false,hdfs,local,true);
}
}
5、hdfs文件读写流程分析
6、HA和故障转移
1)ZooKeeper去中心化架构(即无主节点)
package com.shujia.zK;
import org.apache.zookeeper.*;
import org.junit.Before;
import org.junit.Test;
public class DemoZKAPIWatcher {
ZooKeeper zk;
@Before
public void init() throws Exception{
zk = new ZooKeeper("master:2181,node1:2181,node2:2181",3000,null);
}
@Test
public void create() throws Exception{
zk.create("/test","test".getBytes(),//创建节点
ZooDefs.Ids.OPEN_ACL_UNSAFE,//ACL序列验证
CreateMode.EPHEMERAL);//节点类型(临时节点)
//加上死循环 就相当于永久性节点了
while(true){}
}
//参数有两个 第一个是节点路径 第二个是监听
//把监听与节点绑定
@Test
public void children() throws Exception{
zk.getChildren("/test", new Watcher() {
//回调函数
//触发的前提
public void process(WatchedEvent watchedEvent) {
System.out.println("当前节点不存在");
}
});
}
}
2)HA故障转移原理
HDFS的HA,指的是在一个集群中存在两个NameNode,分别运行在独立的物理节点上。在任何时间点,只有一个NameNodes是处于Active状态,另一种是在Standby状态。 Active NameNode负责所有的客户端的操作,而Standby NameNode用来同步Active NameNode的状态信息,以提供快速的故障恢复能力。
为了保证Active NN与Standby NN节点状态同步,即元数据保持一致。除了DataNode需要向两个NN发送block位置信息外,还构建了一组独立的守护进程”JournalNodes”,用来同步Edits信息。当Active NN执行任何有关命名空间的修改,它需要持久化到一半以上的JournalNodes上。而Standby NN负责观察JNs的变化,读取从Active NN发送过来的Edits信息,并更新自己内部的命名空间。一旦ActiveNN遇到错误,Standby NN需要保证从JNs中读出了全部的Edits,然后切换成Active状态。
7、HDFS常见问题
1)集群启动失败
查看日志
2)hdfs文件无法操作 一般是因为处于安全模式下
离开安全模式:hdfs dfsadmin -safemode leave
进入安全模式:hdfs dfsadmin -safemode enter
查看安全模式:hdfs dfsadmin -safemode get