sparkSQL读取Excel表格

最新推荐文章于 2024-08-21 08:53:24 发布

风是外衣衣衣

最新推荐文章于 2024-08-21 08:53:24 发布

阅读量3k

点赞数

分类专栏： scala 小知识点技术文章标签： sparkSQL读取excel excel

本文链接：https://blog.csdn.net/weixin_41804049/article/details/102805151

版权

本文档介绍了如何使用SparkSQL来读取Excel表格数据，包括初始化SparkSession、读取不同工作表的内容，并提供了测试步骤和运行结果。此外，还提到了相关依赖项。

摘要由CSDN通过智能技术生成

转自：https://www.cnblogs.com/shenyuchong/p/10291604.html

编码

初始化SparkSession

static{
    System.setProperty("hadoop.home.dir", HADOOP_HOME);
    spark = SparkSession.builder()
            .appName("test")
            .master("local[*]") 
            .config("spark.sql.warehouse.dir",SPARK_HOME)
            .config("spark.sql.parquet.binaryAsString", "true")
            .getOrCreate();
     }

读取excel

public static void readExcel(String filePath,String tableName) throws IOException{
        DecimalFormat format = new DecimalFormat(); 
        format.applyPattern("#");
        //创建文件(可以接收上传的文件，springmvc使用CommonsMultipartFile，jersey可以使用org.glassfish.jersey.media.multipart.FormDataParam（参照本人文件上传博客）)
        File file = new File(filePath);
        //创建文件流
        InputStream inputStream = new FileInputStream(file);
        //创建流的缓冲区
        BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream);
        //定义Excel workbook引用
        Workbook  workbook =null;
        //.xlsx格式的文件使用XSSFWorkbook子类，xls格式的文件使用HSSFWorkbook
        if(file.getName().contains("xlsx")) workbook = new XSSFWorkbook(bufferedInputStream);
        if(file.getName().contains("xls")&&!file.getName().contains("xlsx"))  workbook = new HSSFWorkbook(bufferedInputStream);
        System.out.println(file.getName())