第9章 HDFS客户端
1. DFSClient的构造和关闭
DFSClient()构造方法的功能:
1) 读取配置项信息并初始化成员变量
2) 建立到NameNode的IPC连接(createRPCNamenode()和createNamenode())
DFSClient.close()关闭客户端的功能:
1) leasechecker.close()//关闭租约管理器
2) clientRunning=false;//中断DFSClient对象打开的输入输出流
3) RPC.stopProxy(rpcNamenode);
2.文件和目录、系统管理相关任务
DFSClient.checkOpen();//检查客户端是否关闭
然后通过RPC对象调用相应的远程Namenode方法完成操作
3.输入流
DFSClient.open();//打开文件构造并返回一个DFSInputStream对象
${dfs.read.prefetch.size}预取读的大小是10个数据块大小
${io.file.buffer.size}输入缓冲区大小
DFSInputStream.read();//读文件
DFSInputStream.close();//关闭流
4.DistributedFileSystem的实现
DistributedFileSystem是适配器模式的典型应用
构造DistributedFileSystem时会默认加载”hdfs-default.xml”和”hdfs-site.xml”文件
5.HDFS常用工具