背景
为了转岗,最近在学习大数据,特此记录一下学习过程与写代码时的一些简单思考。
代码
package com.lineqi.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.yarn.api.records.URL;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HdfsApi{
public static void main(String[] args) {
HdfsApi ha =new HdfsApi();
try {
//ha.downloadFile();
//ha.streamDownloadFile();
//ha.mergeUploadBigFile();
ha.mergeDownloadFile();
} catch (IOException e) {
e.printStackTrace();
} catch(InterruptedException ie){
ie.printStackTrace();
}finally {
System.out.println(“aaa”);
}
}
1、创建文件夹
public void mkdirs() throws IOException,InterruptedException{
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020"),new Configuration(),"root");
boolean bl = fs.mkdirs(new Path("/aaa/bbb/ccc"));
System.out.println(bl);
fs.close();
}
2、上传文件
public void upLoadFile() throws IOException,InterruptedException {
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020" ),new Configuration(),"root");
fs.copyFromLocalFile(new Path("D:\\pgtable.txt"),new Path("/aaa/bbb/ccc"));
fs.close();
}
3、下载文件
public void downloadFile() throws InterruptedException,IOException {
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020"),new Configuration(),"root");
fs.copyToLocalFile(false,new Path("/aaa/bbb/ccc/pgtable.txt"),new Path("E:\\tt.txt"),true);
fs.close();
}
4、以流方式下载文件
public void streamDownloadFile() throws IOException,InterruptedException {
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020"),new Configuration(),"root");
FSDataInputStream fsdi = fs.open(new Path("/test/hadoop-2.10.1.tar.gz"),1024);
FileOutputStream fsdo = new FileOutputStream("E:\\hadoop.tar.gz");
IOUtils.copyBytes(fsdi,fsdo,1024);
IOUtils.closeStream(fsdi);
IOUtils.closeStream(fsdo);
fs.close();
}
5、合并多个小文件上传
public void mergeUploadBigFile() throws IOException,InterruptedException {
// 1、获取FileSystem
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020"),new Configuration(),"root");
// 2、获取HDFS输出流
FSDataOutputStream fsos = fs.create(new Path("/test/bigfile.txt"));
// 3、获取本地文件系统
LocalFileSystem lfs = FileSystem.getLocal(new Configuration());
// 4、获取本地文件夹下所以文件
FileStatus[] filestatus = lfs.listStatus(new Path("d:\\test"));
// 5、遍历每个文件,获取每个文件的输入流
for(FileStatus files : filestatus){
FSDataInputStream fsdi = lfs.open(files.getPath());
// 6、将每个文件内容复制到大文件中
IOUtils.copyBytes(fsdi,fsos,1024);
IOUtils.closeStream(fsdi);
}
// 7、关闭流
IOUtils.closeStream(fsos);
lfs.close();
fs.close();
}
6、将多个小文件合并下载
public void mergeDownloadFile() throws IOException, InterruptedException {
//1、获取FileSystem文件系统
FileSystem fs = FileSystem.get(URI.create("hdfs://192.168.0.104:8020"),new Configuration(),"root");
//2、获取FileSystem文件目录
RemoteIterator<LocatedFileStatus> remoteIterator= fs.listFiles(new Path("/aaa/bbb/ccc/"),true);
//3、创建文件输出流
FileOutputStream outputstream = new FileOutputStream("e:\\test\\ddd.txt");
while(remoteIterator.hasNext()){
//4、获取每个文件并打开文件
LocatedFileStatus filestatus=remoteIterator.next();
String filename="/aaa/bbb/ccc/"+filestatus.getPath().getName();
FSDataInputStream inputstream = fs.open(new Path(filename));
//5、执行文件内容拷贝
IOUtils.copyBytes(inputstream,
outputstream,
1024);
IOUtils.closeStream(inputstream);
}
//6、关闭输出流
IOUtils.closeStream(outputstream);
//7、关闭文件
fs.close();
}
}
思考方式
1、大文件下载时,中断了如何能从中断时的那个点开始接着下载呢?(即是否支持断点续传功能)
2、只处理一个目录下的部分文件,比如以mysql开头或以mysql结尾,如何实现呢(昨天晚上试一下没有成功)