JavaAPI将excel传到HIVE的两种方法

最新推荐文章于 2024-05-05 14:14:18 发布

小怪兽啊

最新推荐文章于 2024-05-05 14:14:18 发布

阅读量685

点赞数 1

文章标签： excel hive java

本文链接：https://blog.csdn.net/weixin_44309421/article/details/113881570

版权

本文介绍了如何使用Java将Excel数据转换为List<String[]>，然后通过两种不同方法将其上传到HIVE。首先，将Excel文件转换为List<String[]>，再将此列表保存为CSV文件。接着，文章提供了两种不同的实现方法，每种方法都需要特定的依赖项。这些步骤和方法适用于Java开发者在处理数据迁移场景。

摘要由CSDN通过智能技术生成

通用部分：

将excel转化成List<String[]>类型，然后将List存入本地的地址：
第一步：
工具类：将excel转成List<String[]>类型

package com.homedo.microservice.bigdata.dataservice.basicservice.util;

import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.List;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.springframework.web.multipart.MultipartFile;

public class POIUtils {
   
    private final static String xls = "xls";
    private final static String xlsx = "xlsx";
    private final static String DATE_FORMAT = "yyyy/MM/dd";
    /**
     * 读入excel文件，解析后返回,返回值List<String[]>其实是将每一个单元格封装在String[]中，而每一个String[]又做为每一列封装了List中。
     * @param file 将上传后的文件传入到方法中
     * @throws IOException
     */
    public static List<String[]> readExcel(MultipartFile file) throws IOException {
   
        //检查文件是否是一个excel文件
        checkFile(file);
        //获得Workbook工作薄对象
        Workbook workbook = getWorkBook(file);
        //创建返回对象，把每行中的值作为一个数组，所有行作为一个集合返回
        List<String[]> list = new ArrayList<String[]>();
        if(workbook != null){
   
            //遍历所有的工作表
            for(int sheetNum = 0;sheetNum < workbook.getNumberOfSheets();sheetNum++){
   
                //获得当前sheet工作表
                Sheet sheet = workbook.getSheetAt(sheetNum);
                if(sheet == null){
   
                    continue;//如果第一个工作表是空的，就跳出，继续循环下一个工作表。
                }
                //获得当前sheet中有数据的第一行（防止可能前面几行没有数据）
                int firstRowNum  = sheet.getFirstRowNum();
                //获得当前sheet中有数据的最后一行的结束行
                int lastRowNum = sheet.getLastRowNum();
                //循环除了第一行的所有行
                for(int rowNum = firstRowNum+1;rowNum <= lastRowNum;rowNum++){
   
                    //获得当前行
                    Row row = sheet.getRow(rowNum);
                    if(row == null){
   
                        continue;//如果当前行是空，跳出，继续遍历下一个
                    }
                    //获得当前行中有数据的第一个单元格
                    int firstCellNum = row.getFirstCellNum();
                    //获得当前行中不为空的单元格的个数
                    int lastCellNum = row.getPhysicalNumberOfCells();
                    //创建一个固定大小的数组
                    String[] cells = new String[lastCellNum];
                    //循环当前行中的单元格
                    for(int cellNum = firstCellNum; cellNum < lastCellNum;cellNum++){
   
                        //获取有数据的单元格
                        Cell cell = row.getCell(cellNum);
                        //将单元格中的数据都转换成字符串并存入数组中，每一个数组就相当于行中的所有数据
                        cells[cellNum] = getCellValue(cell);
                    }
                    //将每一行的数据存入集合中
                    list.