HDFS文件上传下载（Excel 和Csv）

最新推荐文章于 2023-06-08 10:10:08 发布
最新推荐文章于 2023-06-08 10:10:08 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： 问题解决 文章标签： HDFS 文件上传下载 excel csv hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41097354/article/details/115305072
版权 
package com.dragonsoft.cicada.datacenter.modules;


import java.io.*;
import java.net.URI;
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.zip.ZipOutputStream;

import cn.hutool.core.text.csv.CsvData;
import cn.hutool.core.text.csv.CsvUtil;
import com.code.common.utils.StringUtils;
import com.csvreader.CsvReader;
import com.csvreader.CsvWriter;
import com.dragoninfo.dfw.bean.Result;
import com.dragonsoft.cicada.datacenter.modules.dataplan.externaldatasources.vo.DataSetAuthVo;
import com.fw.service.BaseService;
import com.fw.service.annotation.Service;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.env.Environment;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

@Controller
@CrossOrigin
@RequestMapping("/HdfsTest")
@Api(value = "HdfsTest|HDFS测试")
public class HdfsTest extends BaseService {

    @Value("${hdfs.defaultFS}")
    private  String hdfsUrl;

    @Value("${hdfs.hadoopLoginName:root}")
    private  String hadoopLoginName;


    private static Configuration conf = new Configuration();

/*
    static {
        conf.set("fs.defaultFS", hdfsUrl);
        conf.set("dfs.nameservices", "nameservice1");
        conf.set("dfs.ha.namenodes.nameservice1", "nn1,nn2");
        conf.set("dfs.namenode.rpc-address.nameservice1.nn1", "xxx:8020");
        conf.set("dfs.namenode.rpc-address.nameservice1.nn2", "xxx:8020");
        conf.set("dfs.client.failover.proxy.provider.nameservice1"
                ,"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");


//        conf.addResource("classpath:/hadoop/core-site.xml");
//        conf.addResource("classpath:/hadoop/hdfs-site.xml");
//        conf.addResource("classpath:/hadoop/mapred-site.xml");
    }
*/

    @ResponseBody
    @RequestMapping("/initConfig")
    @ApiOperation(value = "初始化配置")
    public Result initConfig()throws IOException{
        if(StringUtils.isBlank(hdfsUrl)){
            System.out.println("----------hdfsUrl为空-------");
        }
        conf.set("fs.defaultFS", hdfsUrl);
        return Result.success(hdfsUrl);
    }
    //创建新文件
    public static void createFile(String dst , byte[] contents) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path dstPath = new Path(dst); //目标路径
        //打开一个输出流
        FSDataOutputStream outputStream = fs.create(dstPath);
        outputStream.write(contents);
        outputStream.close();
        fs.close();
        System.out.println("文件创建成功！");
    }


    private void init(){
        conf.set("fs.defaultFS", hdfsUrl);
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

    }

    //上传本地文件
    @ResponseBody
    @RequestMapping("/uploadFile")
    @ApiOperation(value = "上传本地文件")
    public Result uploadFile(String src,String dst) throws IOException{

       try{
           init();
           FileSystem fs = FileSystem.get(conf);
           Path srcPath = new Path(src); //本地上传文件路径
           Path dstPath = new Path(dst); //hdfs目标路径
           //调用文件系统的文件复制函数,前面参数是指是否删除原文件，true为删除，默认为false
           fs.copyFromLocalFile(false, srcPath, dstPath);

           //打印文件路径
           System.out.println("Upload to "+conf.get("fs.default.name"));
           System.out.println("------------list files------------"+"\n");
           FileStatus [] fileStatus = fs.listStatus(dstPath);
           for (FileStatus file : fileStatus)
           {
               System.out.println(file.getPath());
           }
           fs.close();

       }catch (Exception e){
           e.printStackTrace();
       }
        return Result.success();
    }

    @ResponseBody
    @PostMapping("/uploadFile2")
    @ApiOperation(value = "上传本地文件(带文件的方式)")
    public Result uploadFile2(@RequestParam("file") MultipartFile file,String bean){
        try{
            init();
            FileSystem fs = FileSystem.get(conf);
            InputStream in = new BufferedInputStream(file.getInputStream());
            String filename = file.getOriginalFilename();
            FSDataOutputStream out = fs.create(new Path("/user/iof/DatasourceTest/"+filename));
            IOUtils.copyBytes(in,out,conf);
        }catch (Exception e){
            e.printStackTrace();
        }
        return Result.success();
    }

    @ResponseBody
    @RequestMapping("/downloadFile")
    @ApiOperation(value = "下载文件")
    public Result downloadFile(HttpServletResponse response, String hdfsPath, String locahPath){
        InputStream in=null;
        OutputStream out=null;
       try{

           init();
           FileSystem fs = FileSystem.get(conf);
           in = fs.open(new Path(hdfsPath));
           //out = new FileOutputStream(locahPath);
           //IOUtils.copyBytes(in, out, conf);

           response.setContentType("application/x-msDownload;charset=utf-8");
           response.setCharacterEncoding("UTF-8");
           response.setHeader("Content-Disposition", "attachment;filename=" + new String("文件下载.xlsx".getBytes(),"utf-8"));//下载文件的名称

           ServletOutputStream sout = response.getOutputStream();
           assert sout != null;

           try (BufferedInputStream bis = new BufferedInputStream(in); BufferedOutputStream bos = new BufferedOutputStream(sout)) {
               byte[] buff = new byte[2048];
               int bytesRead;
               while (-1 != (bytesRead = bis.read(buff, 0, buff.length))) {
                   bos.write(buff, 0, bytesRead);
               }
               bos.flush();
           }

       }catch (Exception e){
           e.printStackTrace();
       }
       return Result.success();
    }

    @ResponseBody
    @RequestMapping("/readSheet")
    @ApiOperation(value = "获取excel的sheet页")
    public Result readSheet(String path) throws Exception {
        XSSFWorkbook workbook=new XSSFWorkbook(new FileInputStream(new File("C:/Users/Administrator/Desktop/test/DatasourceTest2.xlsx")));
        List<String> sheetnames=new ArrayList<>();
        for (int i = 0; i < workbook.getNumberOfSheets(); i++) {//获取每个Sheet表
            sheetnames.add(workbook.getSheetAt(i).getSheetName());
        }
        return Result.success(sheetnames);
    }

    @ResponseBody
    @RequestMapping("/getExcelColumn")
    @ApiOperation(value = "获取excel每一列的字段")
    public Result getExcelColumn(@RequestParam("file") MultipartFile file) throws Exception {
        int sheetNum=0;
        String fileHouZhui="xlsx";
        Boolean userHeader=true;
        Integer startRow=1;
        Integer startColumn=1;
        Workbook wb = null;
        if("xls".equals(fileHouZhui)){
            wb=new HSSFWorkbook(new FileInputStream(zhuanhuan(file)));
        }else if("xlsx".equals(fileHouZhui)){
            wb=new XSSFWorkbook(new FileInputStream(zhuanhuan(file)));
        }else{
            System.out.println("文件格式错误！");
        }
        Sheet sheet = wb.getSheetAt(sheetNum);
        int num = sheet.getRow(0).getPhysicalNumberOfCells();
        int columnNo=0;
        for (int i=startColumn-1;i<num;i++) {
            //CellType cellType = sheet.getRow(1).getCell(i).getCellType();
            if(userHeader){
                String header = sheet.getRow(startRow-1).getCell(i).toString();
                System.out.println("header"+i+":  "+header);
            }else{
                String header = "column"+columnNo;
                columnNo++;
                System.out.println("header"+i+":  "+header);
            }

        }
        return Result.success();
    }

    @ResponseBody
    @RequestMapping("/getExcelColumnType")
    @ApiOperation(value = "获取excel第一行推断字段类型")
    public Result getExcelColumnType(int sheetNum,String path) throws Exception {
        XSSFWorkbook workbook=new XSSFWorkbook(new FileInputStream(new File(path)));
        XSSFSheet sheet = workbook.getSheetAt(sheetNum);
        XSSFRow row = sheet.getRow(1);
        for(int i=0;i<row.getLastCellNum();i++){
            System.out.println("i-------"+row.getCell(i));
        }
        return Result.success();
    }

    @ResponseBody
    @RequestMapping("/getCsvColumn")
    @ApiOperation(value = "获取Csv每一列的字段")
    public Result getCsvColumn(@RequestParam("file") MultipartFile file) throws Exception {
        try (BufferedReader fileReader = new BufferedReader(new InputStreamReader(new FileInputStream(zhuanhuan(file)), "GB2312"))) {
            String record=fileReader.readLine();
                String[] cells = record.split(",");
                for (String cell : cells) {
                    System.out.println(cell);
                }

        } catch (Exception e) {

        }
        return Result.success();
    }

    private File zhuanhuan(MultipartFile file) throws Exception{
        File finalFile = new File(file.getOriginalFilename());
        // MultipartFile to File
        file.transferTo(finalFile);
        return finalFile;
    }


    private  File multipartFileToFile(MultipartFile file) throws Exception {

        File toFile = null;
        if (file.equals("") || file.getSize() <= 0) {
            file = null;
        } else {
            InputStream ins = null;
            ins = file.getInputStream();
            toFile = new File(file.getOriginalFilename());
            inputStreamToFile(ins, toFile);
            ins.close();
        }
        return toFile;
    }
    //获取流文件
    private  void inputStreamToFile(InputStream ins, File file) {
        try {
            OutputStream os = new FileOutputStream(file);
            int bytesRead = 0;
            byte[] buffer = new byte[8192];
            while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
                os.write(buffer, 0, bytesRead);
            }
            os.close();
            ins.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }


    @ResponseBody
    @RequestMapping("/mergeFile")
    @ApiOperation(value = "文件合并")
    public Result mergeFile(String inputPath,String outPath) throws Exception{
        init();
        FileSystem fsSource = FileSystem.get(URI.create(inputPath),conf);
        FileSystem fsDst= FileSystem.get(URI.create(outPath),conf);
        FileStatus[] sourceStatus = fsSource.listStatus(new Path(inputPath),new MyPathFilter(".*\\.csv"));
        FSDataOutputStream fsdos = fsDst.create(new Path(outPath));
        for (FileStatus sta : sourceStatus) {
            System.out.print("Path: " + sta.getPath() + "FileSize: " + sta.getLen() + "Limit: " + sta.getPermission() + "Content: ");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            byte[] data = new byte[1024];
            int read = -1;
            PrintStream ps = new PrintStream(System.out);
            while ((read = fsdis.read(data)) > 0) {
                ps.write(data,0,read);
                fsdos.write(data, 0, read);
            }
            fsdis.close();
            ps.close();
        }
        fsdos.close();
        return Result.success();
    }


    @ResponseBody
    @RequestMapping("/mergeFile2")
    @ApiOperation(value = "文件合并2")
    public Result mergeFile2(String inputPath,String outPath) throws Exception{
        init();
        FileSystem fsSource = FileSystem.get(URI.create(inputPath),conf);
        FileSystem fsDst= FileSystem.get(URI.create(outPath),conf);
        FileStatus[] sourceStatus = fsSource.listStatus(new Path(inputPath),new MyPathFilter(".*\\.csv"));
        FSDataOutputStream fsdos = fsDst.create(new Path(outPath));
        int count=0;
        for (FileStatus sta : sourceStatus) {
            System.out.println("Path: " + sta.getPath() + "FileSize: " + sta.getLen() + "Limit: " + sta.getPermission() + "Content: ");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            Reader reader = new InputStreamReader(fsdis,"UTF-8");
            BufferedReader bufferedReader = new BufferedReader(reader);

          /*  Writer writer = new OutputStreamWriter(fsdos,"UTF-8");
            BufferedWriter bufferedWriter = new BufferedWriter(writer);*/

            String content = null;
            if(count!=0){
                bufferedReader.readLine();
            }
            count++;
            while((content = bufferedReader.readLine()) != null) {

                //bufferedWriter.write(content+"\n");
                content=content+"\n";
                fsdos.write(content.getBytes(), 0, content.getBytes().length);
                System.out.println("-------"+content);
            }


        }

        fsdos.close();
        fsdos.close();
        return Result.success();
    }

    @ResponseBody
    @RequestMapping("/mergeFile3")
    @ApiOperation(value = "文件合并3")
    public Result mergeFile3() throws Exception{
        try {
            String[] stringList;
            String csvFilePath = "C:\\Users\\Administrator\\Desktop\\20140227135936.csv";
            String sourceFileString= "C:\\Users\\Administrator\\Desktop\\test.csv";
            CsvReader reader = new CsvReader(csvFilePath); //默认是逗号分隔符，UTF-8编码
            CsvWriter writer = new CsvWriter(sourceFileString);
            /*
             * readRecord（）判断是否还有记录，getValues（）读取当前记录，然后指针下移
             */
            reader.readRecord();
            //writer.writeRecord(reader.getValues()); //读取表头
            /*
             * 逐行读取，以免文件太大
             * 处理表头后面的数据，这里是在第12列数据统一加前缀"V"
             */
            while(reader.readRecord()){
                stringList = reader.getValues();
                stringList[11] = 'V' + stringList[11];
                writer.writeRecord(stringList);
            }
            reader.close();
            writer.close();
        }catch(Exception ex) {
            ex.printStackTrace();
        }
        return Result.success();
    }

    @ResponseBody
    @RequestMapping("/downloadFileCsv")
    @ApiOperation(value = "下载文件CSV")
    public Result downloadFileCsv(HttpServletResponse response, String hdfsPath, String locahPath) {
        InputStream in = null;
        OutputStream out = null;
        try {

            init();
            FileSystem fs = FileSystem.get(conf);
            in = fs.open(new Path(hdfsPath));
            //out = new FileOutputStream(locahPath);
            //IOUtils.copyBytes(in, out, conf);

            response.setContentType("application/x-msDownload;charset=utf-8");
            response.setCharacterEncoding("UTF-8");
            response.setHeader("Content-Disposition", "attachment;filename=" + new String("文件下载.xlsx".getBytes(), "utf-8"));//下载文件的名称

            ServletOutputStream sout = response.getOutputStream();
            assert sout != null;

            try (BufferedInputStream bis = new BufferedInputStream(in); BufferedOutputStream bos = new BufferedOutputStream(sout)) {
                byte[] buff = new byte[2048];
                int bytesRead;
                while (-1 != (bytesRead = bis.read(buff, 0, buff.length))) {
                    bos.write(buff, 0, bytesRead);
                }
                bos.flush();
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
        return Result.success();
    }



        @ResponseBody
    @RequestMapping("/rename")
    @ApiOperation(value = "文件重命名")
    public  void rename(String oldName,String newName) throws IOException{
        conf.set("fs.defaultFS", hdfsUrl);
        FileSystem fs = FileSystem.get(conf);
        Path oldPath = new Path(oldName);
        Path newPath = new Path(newName);
        boolean isok = fs.rename(oldPath, newPath);
        if(isok){
            System.out.println("rename ok!");
        }else{
            System.out.println("rename failure");
        }
        fs.close();
    }
    //删除文件
    public static void delete3(String filePath) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path path = new Path(filePath);
        boolean isok = fs.deleteOnExit(path);
        if(isok){
            System.out.println("delete ok!");
        }else{
            System.out.println("delete failure");
        }
        fs.close();
    }

    //创建目录
    @ResponseBody
    @RequestMapping("/mkdir")
    @ApiOperation(value = "创建目录")
    public  Result mkdir(String path) throws IOException{
        conf.set("fs.defaultFS", hdfsUrl);
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(path);
        boolean isok = fs.mkdirs(srcPath);
        if(isok){
            System.out.println("create " + path + " dir ok!");
        }else{
            System.out.println("create " + path + " dir failure");
        }
        fs.close();
        return Result.success(isok);
    }



    //读取文件的内容
    public static void readFile(String filePath) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(filePath);
        InputStream in = null;
        try {
            in = fs.open(srcPath);
            IOUtils.copyBytes(in, System.out, 4096, false); //复制到标准输出流
        } finally {
            IOUtils.closeStream(in);
        }
    }

    /**
     * 遍历指定目录(direPath)下的所有文件
     */
    @ResponseBody
    @RequestMapping("/getDirectoryFromHdfs")
    @ApiOperation(value = "遍历指定目录(direPath)下的所有文件")
    public  void  getDirectoryFromHdfs(String direPath){

        try {
            conf.set("fs.defaultFS", hdfsUrl);
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(URI.create(direPath),conf);
            FileStatus[] filelist = fs.listStatus(new Path(direPath));
            for (int i = 0; i < filelist.length; i++) {
                System.out.println("_________" + direPath + "目录下所有文件______________");
                FileStatus fileStatus = filelist[i];
                System.out.println("Name:"+fileStatus.getPath().getName());
                System.out.println("Size:"+fileStatus.getLen());
                System.out.println("Path:"+fileStatus.getPath());
            }
            fs.close();
        } catch (Exception e){
            e.printStackTrace();
        }
    }



    public static void main(String[] args) throws IOException {
      /*  String today = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
        String localFilePath = "F:\\datafortag\\maimaimai\\quan-" + today;
        String hdfsFilePath = "/user/rec/maimaimai/upload_month=" + today.substring(0,7) + "/upload_date=" + today + "/";
        System.out.println(localFilePath);
        System.out.println(hdfsFilePath);*/
        //"/user/rec/maimaimai/upload_month=2016-11/upload_date=2016-11-09/"
        //1、遍历指定目录(direPath)下的所有文件
        //getDirectoryFromHdfs("/user/rec/maimaimai");

        //2、新建目录
        //mkdir(hdfsFilePath);

        //3、上传文件
        //uploadFile(localFilePath, hdfsFilePath);
        //getDirectoryFromHdfs(hdfsFilePath);

        //4、读取文件
        //readFile("/user/rec/maimaimai/quan-2016-11-09");

        //5、重命名
//        rename("/user/rec/maimaimai/2016-11/2016-11-09/quan-2016-11-09", "/user/rec/maimaimai/2016-11/2016-11-09/quan-2016-11-08.txt");
//        getDirectoryFromHdfs("/user/rec/maimaimai/2016-11/2016-11-09");

        //6、创建文件，并向文件写入内容
        //byte[] contents =  "hello world 世界你好\n".getBytes();
        //createFile("/user/rec/maimaimai/2016-11/2016-11-09/test.txt",contents);
        //readFile("/user/rec/maimaimai/2016-11/2016-11-09/test.txt");

        //7、删除文件
        //delete("/user/rec/maimaimai/quan-2016-11-08.txt"); //使用相对路径
        //delete("test1");    //删除目录
        System.out.println("AB属于第几列 ------"+excelColStrToNum("iv"));
    }

    public static int excelColStrToNum(String column) {
        int num = 0;
        int result = 0;
        int length =column.length();
        for(int i = 0; i < length; i++) {
            char ch = column.charAt(length - i - 1);
            num = (int)(ch - 'A' + 1) ;
            num *= Math.pow(26, i);
            result += num;
        }
        return result;
    }

}


package com.dragonsoft.cicada.datacenter.modules;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;
/**
 * @author: yecc
 * @create: 2021-03-23 15:29
 */
public class MyPathFilter implements PathFilter{
    String reg = null;
    public MyPathFilter(String reg){
        this.reg = reg;
    }
    @Override
    public boolean accept(Path path){
        if(path.toString().matches(reg)){
            return true;
        }
        return false;
    }

}
@富士山下
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
2401_84415708的博客
04-18 996
分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。
用sqoop将excel数据上传hdfs、hive、hbase
liliblue的博客
11-28 1852
快的不是一点点好吗？ 我还用什么poi 什么java api，出错到怀疑人生好吗？ 唉，我这愚蠢的人类。 条件有二： 首先，在已经搭建好的hadoop环境下安装mysql。 其次，安装配置sqoop。 过程有二： 第一，将excel文件上传到mysql。（本地的mysql连接到了linux下的mysql） 在光标所在的“表”出右击，点击导入向导，一步步照做就可以。 第二，通过...
Java读取HDFS上的Excel文件
m0_48830183的博客
10-07 572
Java的poi
Hive上传表到hdfs上的流程
weixin_47068172的博客
02-20 1879
在hdfs创建目录 我准备上传的是Hive上面的tab1表，同时我在hdfs上创建一个路径为/flume/tab1 输入下面的命令，在集群上创建一个路径 hadoop fs -mkdir /flume/tab1 接下来 在Hive中输入下面命令，把Hive中的表上传到hdfs上 上传成功 进行展示 ...
从HDFS下载数据
冰镇苹果的博客
11-06 908
import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import ...
java 读取hdfs excel_关于java读取excle文件的相关方法 ；
weixin_28958411的博客
02-27 172
报表存在读取数据源来自excel，系统常常出现读取excel需求，Java POI不仅可以输出excel，也可以读取excel中单元格数据、图片数据，poi也支持excel2007(xlsx)读取，使用poi-3.8-20120326.jar,poi-ooxml-3.8-20120326.jar,poi-scratchpad-3.8-20120326.jar，这些Jar包可以从apache poi...
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
09-16
标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中，提到了Python在Linux环境下与HDFS交互的需求，以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...
向hdfs上传Excel文件.doc
最新发布
03-06
向hdfs上传Excel文件
HDFS文件的下载
05-21
hdfs文件的下载
完美解决python针对hdfs上传和下载的问题
09-16
主要介绍了完美解决python针对hdfs上传和下载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
xlsx文件（即Excel文件）上传至HDFS乱码问题解决
m0_63246205的博客
06-08 434
最后啊，我直接在Excel打开那个文件，然后另存为UTF-8格式的csv文件，这样乱码问题就解决了。
HDFS之上传文件到hdfs中
qq_35488275的博客
03-14 828
Filecopywithprogress.java import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStream; import java
读取hdfs文件，本地文件，包括：Excel/CSV/Log...等，以及fsDataInputStream = fileSystem.open(path)中文乱码
Danger
12-11 972
测试文本 1234.log I Love China I love my country 沁园春 北国风光，千里冰封，万里雪飘。 望长城内外，惟余莽莽；大河上下，顿失滔滔。 山舞银蛇，原驰蜡象，欲与天公试比高。 须晴日，看红装素裹，分外妖娆。 江山如此多娇，引无数英雄竞折腰。 惜秦皇汉武，略输文采；唐宗宋祖，稍逊风骚。 一代天骄，成吉思汗，只识弯弓射大雕。 俱往矣，数风流人物，...
HDFS常用命令
浪子天涯行世录
10-26 5944
hadoop classpath: 打印当前hadoop环境的配置路径。命令的形式：hdfs dfs -linux命令。hadoop fs等同于hdfs dfs。这与linux中命令操作是一样的。
MR -- OutputFormat数据输出
a1786742005的博客
02-28 477
一、OutputFormat 介绍 OutputFormat 是 MapReduce 输出的基类，所有实现 MapReduce 输出都实现了 OutputFormat 接口。下面说一下几种常见的 OutputFormat 实现类。 1、TextOutputFormat 默认的输出格式为 TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为 TextOutputF...
HDFS管理工具HDFS Explorer
张俊杰 的博客
10-16 1265
转载 添加链接描述 上面是原作者,我在他的基础上进行了小小的修改,然后就是文件地址替换成我自己百度网盘地址了. 正文 下载地址 链接: https://pan.baidu.com/s/1VPxjPzYtPsSBvUfyQoUPyQ 提取码: gmjr 复制这段内容后打开百度网盘手机App，操作更方便哦 使用方法 先安装, 安装完了 填写Hadoop访问地址和端口： 下面 Hadoop User 是你的用户名, 你用什么用户登录的就写什么,如果是root用户就写root. 内容 ...
Excel文件导入hive
qq_41495340的博客
06-24 6589
Hive导入Excel数据并不能使用类似一键导入的开关，只能先将数据进行格式转换，hive中简表，load数据的方式。 打开Excel并另存为.txt格式文本文档excel与text转换 1.注意要将表头第一行（字段名）删除，然后先导出为csv，再查看数据格式，确认是UTF-8，再导出为txt文件 2.上传文件到HDFS 里 hadoop fs -put /data/temp/ods_tj_farm_feed.txt /tmp 根据excel中的数据结构进行建表，注意结构顺寻要一致 3load数
获取hdfs文件到本地的两种方法比较
数据小白的进阶之路
09-18 4581
一、前言 最近在搞数据传输的东西，涉及到hdfs的操作，主要有两种方法： 1、hive -e方法 2、hdfs dfs -get方法 二、详解： 两者都可以将集群的数据写入到本地，但是所存储的格式存在差别： 方法一： hive -e将集群的数据拉取到本地，所 存储的格式是服务器默认存储的格式，这种格式存在的问题是：如果在将文件导入到另外一台集群时，如果创建表的分割符与机器的默认分割不一致，就会导致列分割失败，所有的列会写入一个字段中。 hive -e "USE htl_data;SELEC
数仓华为hue将Excel文件转换为CSV文件再上传。
06-10
3. 在HDFS文件系统中找到您想要上传文件的目标文件夹。 4. 点击“上传”按钮，选择刚才保存的CSV文件进行上传。 如果您需要在Hue上对CSV文件进行操作，可以使用Hue中的相应工具，如Hive或Impala。希望能对您有所...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值