hadoop的上传与下载

hadoop上传过程:

1.client与namenode建立RPC通信，将上传的文件信息给namenode.

2.namenode返回信息给client,告诉client怎么存储文件放于datanode.

3.client将文件放于datanode,同时将更新磁盘中的edits文件.

4.存储完成后,datanode返回消息给namenode,并更新metadata.

5.secondarynamenode从磁盘中下载fsImage和edits文件，并合并成一个新的fsImage文件.

6.secondarynamenode将新的fsImage推送给namenode并更新fsImage.

（以上纯属个人理解，如有差错，请谅解，同时欢迎留言纠正。）

class  

{
public static void main(String[] args) 
{
private FileSystem fs=null;
//初始化
@before
public void init(){
fs = FileSystem.get(new URI("hdfs://yangwenjie:9000"),new configuration(),"root");
}


//1.hdfs下载文件
public void downLoad(){
//读取文件流
InputStream in=fs.open(new Path("/jdk"));
//下载到本地磁盘
OutputStream out=new FileOutputStream(new File("c:/jdk"));
//流对接
IOUtils.copyBytes(in,out,2048,true);
}


//2.上传到hdfs文件系统中
public void upload(){
//从本地读取数据
FileInputStream in=new FileInputStream(new File("c:/jdk"));
//输出流
FSDataOutputStream out=fs.create(new Path("/jdk"));
//流对接
IOUtils.copyBytes(in,out,2048,true);
}


//3.删除文件
public void delete(){
//true表示递归查询
boolean del=fs.delete(new Path("/jdk"),true);
System.out.print(del);
}


//4.创建文件夹
public void Mkdir(){
boolean mkdir=fs.mkdirs(new Path("/jdk"));
System.out.print(mkdir);
}
}
}