import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* @author:戴桥冰
* 2015-10-5 上午11:27:24
*content: 文件合并的工具类
*/
public class HDFSFileMeger {
/**
*
* @param srcFiles 要合并的源文件
* @param targetFile 目标文件
* @throws Exception
*/
public static void fileMeger(String srcFiles,String targetFile) throws Exception{
Configuration conf=new Configuration();
FileSystem localFs=FileSystem.getLocal(conf);//获取本地系统
FileSystem tarFs=FileSystem.get(conf);//获取HDFS文件系统
Path localPath=new Path(srcFiles);//获取本地文件路径
Path targetPath=new Path(targetFile);//获取hdfs文件路径
FileStatus[] fileStatus=localFs.listStatus(localPath);//本地系统中指定的所有的目录
FSDataOutputStream dat
HDFS文件的合并
最新推荐文章于 2023-12-26 17:20:57 发布