通过javaApi 从本地上传文件到集群

最新推荐文章于 2024-08-02 16:51:08 发布

Wflowerd

最新推荐文章于 2024-08-02 16:51:08 发布

阅读量1.6k

点赞数 1

分类专栏： Hadoop核心基础文章标签： hadoop 本地文件集群 javaApi

本文链接：https://blog.csdn.net/Wflowerd/article/details/79255891

版权

本文介绍如何利用JavaAPI实现从本地文件系统向Hadoop集群进行文件上传的操作，包括提供本地文件工具类和集群上传工具类的详细步骤，适用于分布式环境的数据迁移。

摘要由CSDN通过智能技术生成

获取本地文件工具类

import java.io.*;
public class GetLocalFile {
     public static String getLocalFile(String filePath) throws Exception{
         FileInputStream fis=new FileInputStream(filePath);
         InputStreamReader isr=new InputStreamReader(fis);
         BufferedReader br=new BufferedReader(isr);
         String tempLine=null;
         StringBuilder sb=new StringBuilder();
         //定义一个计数器
         int line_counter=0;
         while((tempLine=br.readLine())!=null){
             tempLine=tempLine.trim();//去除左右空格
         //实现逻辑：第二行才开始每一行的行首加换行
             if( line_counter>0){
                 sb.append("\\n");
             }
             sb.append(tempLine);
             line_counter++;
        }   
        br.close(); 
        return sb.toString();
     }
}