导入多个sheet页到多张表(2023/4/7)修订版

该代码示例展示了如何使用EasyExcel库读取上传的Excel文件,分别处理两个sheet,并将数据转换为对应的实体类,然后批量保存到数据库中。监听器用于收集读取的数据,业务层方法处理保存操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

控制层

 @PostMapping("test/excel/import")
    public void modelImport(MultipartFile serviceFile) throws IOException {
        //输入流
        InputStream inputStream = serviceFile.getInputStream();
        //监视器
        ExcelListener listener = new ExcelListener();
        ExcelReader excelReader = EasyExcel.read(inputStream, listener).build();
        // 第一个sheet读取类型
        ReadSheet readSheet1 = EasyExcel.readSheet(0).head(DictEeVo.class).build();
        // 第二个sheet读取类型
        ReadSheet readSheet2 = EasyExcel.readSheet(1).head(ExpertVo.class).build();
        // 开始读取第一个sheet
        excelReader.read(readSheet1);
        //excel sheet0 信息
        List<Object> list = listener.getDatas();
        //List<object> 转 List<实体类>
        List<Dict> dtoList = new ArrayList<>();
        //List object for 转换 实体类
        for (Object objects : list) {
            DictEeVo dto = (DictEeVo) objects;
            Dict dict = new Dict();
            BeanUtil.copyProperties(dto,dict);
            dtoList.add(dict);
        }
        //List 转JOSN
        String json = JSON.toJSONString(dtoList);
        System.out.println("json = " + json);
        //保存第一个sheet页中的数据
        dictService.saveBatch(dtoList);
        // 清空之前的数据
        listener.getDatas().clear();

        // 开始读取第二个sheet
        excelReader.read(readSheet2);
        //excel sheet1 信息
        List<Object> entry = listener.getDatas();
        //copy上面作法

        //List<object> 转 List<实体类>
        List<Dict> dtoList22 = new ArrayList<>();
        //List object for 转换 实体类
        List<ExpertVo> dtoList1 = new ArrayList<>();
        //List object for 转换 实体类
        for (Object objects : list) {
            ExpertVo dto = (ExpertVo) objects;

            dtoList1.add(dto);
        }


        //保存第二个sheet页中的数据//这次插入别的表 t_test_copy1
        dictService.saveBatcht_test_copy1(dtoList1);
        //List 转JOSN
        String json1 = JSON.toJSONString(dtoList);
        System.out.println("json2222 = " + json1);

    }

业务层

void saveBatcht_test_copy1(List<ExpertVo> dtoList1);

业务层实现类

@Override
public void saveBatcht_test_copy1(List<ExpertVo> dtoList1) {
    dictMapper.saveBatcht_test_copy1(dtoList1);
}

mapper

void saveBatcht_test_copy1(@Param("List") List<ExpertVo> dtoList1);

xml

 <insert id="saveBatcht_test_copy1">
        insert into t_test_copy1(id,name,date) values
        <foreach collection="List" item="item" separator=",">
            (#{item.id},#{item.name},#{item.date})
        </foreach>
    </insert>

postman

 

excel结构

 

 

执行的sql

 

数据库页面状态

 

 

监听器

package com.atguigu.yygh.cmn.listener;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;

import java.util.ArrayList;
import java.util.List;

/**
 * excel表格读取监视器
 */
public class ExcelListener extends AnalysisEventListener {
    //可以通过实例获取该值
    private List<Object> datas = new ArrayList<Object>();

    public void invoke(Object o, AnalysisContext analysisContext) {
        datas.add(o);
        doSomething(o);
    }

    private void doSomething(Object object) {
    }

    public List<Object> getDatas() {
        return datas;
    }

    public void setDatas(List<Object> datas) {
        this.datas = datas;
    }

    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
    }
}

两个vo

 

 

### 使用 Sqoop 进行多张的全量导入至 Hive #### 配置环境与准备 为了成功执行 Sqoop 命令,确保已经安装并配置好 Sqoop 环境[^1]。 #### 执行导入操作 对于将 MySQL 数据库中的多个格一次性全部导入到 Hive 中的操作,可以利用 `import-all-tables` 参数来简化这一过程。此参数允许用户指定要连接的目标 MySQL 数据库以及必要的认证信息,并可以选择性地覆盖已存在的 Hive 格或排除某些特定格不参与此次迁移工作[^4]。 具体命令如下所示: ```bash sudo -u hdfs \ sqoop import-all-tables \ --connect jdbc:mysql://<MySQL服务器地址>:<端口号>/<数据库名>?tinyInt1isBit=false \ --username <用户名> \ --password <密码> \ --hive-import \ --hive-overwrite \ --exclude-tables table1,table2,... \ -m 1 ``` 上述命令中: - `<MySQL服务器地址>` 替换为实际 MySQL 主机 IP 地址; - `<端口号>` 修改为目标 MySQL 实例监听的服务端口,默认情况下为 3306; - `<数据库名>` 更改为待同步的数据源名称; - `<用户名>` 和 `<密码>` 分别设置成具有相应权限访问该 MySQL 数据库账户凭证; - 如果不需要排除任何格,则省略 `--exclude-tables` 及其后的列项;反之,在这里列举想要忽略掉不做处理的关系型数据的名字,各名字间用英文状态下的逗号分隔开来; - `-m 1` 设置并发度为单线程模式运行作业流程,可根据实际情况调整这个数值大小以优化性能现。 完成以上步骤之后,即可启动任务让 Sqoop 自动抓取来自远程关系型数据库管理系统内的结构化资料集并且按照既定规则映射存储于分布式文件系统之上供后续分析挖掘所用。 #### 创建目标 Hive 数据库 (如果尚未存在) 在正式开始之前,还需确认目的位置是否存在名为 `sqoop_test` 的 Hive 数据库实例。如果没有的话可以通过下面这条 SQL 语句来进行初始化创建动作[^2]: ```sql CREATE DATABASE IF NOT EXISTS sqoop_test; ``` 随后可通过以下查询指令检验是否正确建立了新的 schema 对象及其内部对象概况情况: ```sql SHOW DATABASES; SHOW TABLES IN sqoop_test; ``` 最后,当所有准备工作都完成后就可以放心大胆地去尝试批量转移业务逻辑所需的各种维度事实型实体记录啦!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值