大数据系列之hadoop第三天（HDFS api代码及原理）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。

HDFS API操作

实现步骤：

1.创建java工程（Map/Reduce Project）

2.导入hadoop依赖jar包

连接namenode以及读取hdfs中指定文件

@Test

public void testConnectNamenode() throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"), conf);

InputStream in=fs.open(new Path("/park/1.txt"));

OutputStream out=new FileOutputStream("1.txt");

IOUtils.copyBytes(in, out, conf);

}

 

上传文件到hdfs上

@Test

public void testPut() throws Exception{

Configuration conf=new Configuration();

conf.set("dfs.replication","1");

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"),conf,"root");

ByteArrayInputStream in=new ByteArrayInputStream("hello hdfs".getBytes());

OutputStream out=fs.create(new Path("/park/2.txt"));

IOUtils.copyBytes(in, out, conf);

}

从hdfs上删除文件

@Test

public void testDelete()throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"),conf,"root");

//true表示无论目录是否为空，都删除掉。可以删除指定的文件

fs.delete(new Path("/park01"),true);

//false表示只能删除不为空的目录。

fs.delete(new Path("/park01"),false);

fs.close();

}

在hdfs上创建文件夹

@Test

public void testMkdir()throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"),conf,"root");

fs.mkdirs(new Path("/park02"));

}

查询hdfs指定目录下的文件

@Test

public void testLs()throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"),conf,"root");

FileStatus[] ls=fs.listStatus(new Path("/"));

for(FileStatus status:ls){

System.out.println(status);

}

}

递归查看指定目录下的文件

@Test

public void testLs()throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.214:9000"),conf,"root");

RemoteIterator<LocatedFileStatus> rt=fs.listFiles(new Path("/"), true);

while(rt.hasNext()){

System.out.println(rt.next());

}

}

重命名

/*重命名

 */

@Test

public void testCreateNewFile() throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.176:9000"),conf,"root");

fs.rename(new Path("/park"), new Path("/park01"));

}

获取文件的块信息

@Test

public void testCopyFromLoaclFileSystem() throws Exception{

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.176:9000"),conf,"root");

BlockLocation[] data=fs.getFileBlockLocations(new Path("/park01/1.txt"),0,Integer.MaxValue);

for(BlockLocation bl:data){

System.out.println(bl);

}

}

 

 

HDFS各流程图

HDFS架构图

1）namnode，名字节点，最主要管理HDFS的元数据信息

2）datanode，数据节点，存储文件块

3）replication，文件块的副本，目的是确保数据存储的可靠性

4）rack  机架

5）Client 客户端。凡是通过指令或代码操作的一端都是客户端

6）Client 的Read（从HDFS下载文件到本地）

7）Client的Write（上传文件到HDFS上）

从HDFS下载文件过程

1.客户端向namenode发起Open File。目的是获取要下载的文件的输入流。

namenode收到请求之后，会检查路径的合法性，以及客户端的权限。

2.客户端在发起Open File的同时，还会调用 GetBlockLoaction。当第一步的检测都通过之后，namenode会将文件的块信息（元数据信息）封装到输入流，交给客户端。

3.4 客户端用输入流，根据元数据信息，去指定的datanode读取文件块（按blockid的顺序读取）

5.文件下载完成后关闭。

上传文件到HDFS

1.客户端发起Create File，目的是获取HDFS文件的输出流。namenode收到请求后会检测路径的合法性，以及权限。原生Hadoop的权限管理不是很完善，工作中的用的是CDH(商业版Hadoop)

如果检测都通过，namenode会为这个文件生成块的元数据信息（比如：①为文件切块②分配块id ③分配每个块存在哪个dataonde上），然后将元数据信息封装到输出流中，返回给客户端。

2.3 Client拿出输出流之后，采用PipeLine（数据流管道）机制做数据的上传（发送），这样设计的目的在于利用每台服务的带宽，最小化推送数据的延时。

packet是一个64kb大小的数据包。即客户端在发送文件块时，会文件块变成一个一个的数据包发送。

4.5 每台datanode收到packet收，会向上游datanode做ack确认，如果接受失败，会进行重发

6.当一个文件上传完后，关流。

从HDFS删除文件的流程

1.当客户端发起一个删除指令： hadoop fs -rm /park01/1.txt，这个指令会传给namenode

2.当namenode收到指令后，做路径和权限检测，如果检测都通过，会将对应的文件信息从内存里删除。此时，文件数据并不是马上就从集群上被删除

3.datanode向namenode发送心跳时（默认是3s周期），会领取删除指令，然后从磁盘上将文件删除。

 

注：下一篇分享MapReduce原理及代码