多个docker-compose共享网络并相互调用服务

在工作中我们可能需要数据库和api接口分开部署的情况,如果都用docker-compose部署的话,
在有的操作系统中可能无法使用(ip+端口)连接数据库,必须使用服务名称去连接。
这时我们就需要让这两个docker-compose启动的服务共享网络,这样就可以相互调用服务了

数据库的docker-compose文件

  • 我们可以使用 docker network create my_net 创建一个网络,之后每个docker-compose.yml引用即可
  • 也可以先启动数据库服务,最后api服务的docker-compose.yml引用数据库的网络即可,这里我使用这种方式
version: '3'
services:
  db-mysql:
    image: mysql:5.7
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    ports:
      - "3306:3306"
    container_name: mysql-container
    networks:
      - my_net
    environment:
      - MYSQL_ROOT_PASSWORD=root

  db-mysql:
    image: redis:5.0.5-alpine
    command: redis-server --appendonly yes
    restart: always
    ports:
      - "6379:6379"
    container_name: redis-container
    networks:
      - my_net

networks:
  my_net:
    driver: bridge

  • 这里需要指定网络 my_net,指定后网络名称为当前文件夹加上_my_net,如果不指定会使用当前文件夹的名称加上_default
  • 查看网络 docker network ls
  • 这里我查看的是 app_my_net

api的docker-compose文件

version: '3'
services:
  api:
    restart: always
    container_name: web-api
    build:
      context: ./web-api # 指定设定上下文根目录,然后以该目录为准指定Dockerfile
      dockerfile: Dockerfile
    networks:
      - app_my_net # 指定网络
    ports:
        - "8001:7001"
    environment:
     TZ: Asia/Shanghai

  web:
    image: nginx:1.17.0
    privileged: true
    restart: always
    container_name: web-front
    ports:
        - "8080:80"
    volumes:
      - ./web-front/nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./web-front:/usr/share/nginx/html

networks:
  app_my_net:
    external: true # 来自外部

  • 在使用共享网络后,我们在连接 mysql和redis的使用就可以使用服务名称,db-mysql或db-mysql
<think>好的,我现在需要帮用户介绍MyBatis-Plus、EasyExcel,以及如何用它们导入百万数据的Excel到数据库。首先,我得回忆一下这两个框架的基本信息,然后考虑处理大规模数据导入时的常见问题和解决方案。 首先,MyBatis-Plus是MyBatis的增强工具,简化了CRUD操作,用户可能已经知道,但需要简明介绍。EasyExcel是阿里巴巴的Excel处理库,特点是内存占用低,适合处理大文件,这点很重要,尤其是处理百万数据时,传统方式如POI可能导致内存溢出。 接下来,用户的需求是导入百万数据到数据库。这里需要考虑几个步骤:读取Excel、数据转换、批量插入数据库。每一步都可能遇到性能问题,比如内存管理、数据库插入效率。 在读取Excel方面,EasyExcel通过逐行读取的方式,不会一次性加载整个文件到内存,这点需要强调。数据转换可能需要处理字段映射、数据校验,比如去重、格式检查。百万数据如果逐条插入数据库,效率极低,必须使用批量插入,MyBatis-Plus的saveBatch方法可能默认的批量大小不够,需要调整,比如分批处理,每批几千条。 还要考虑事务管理,如果整个导入作为一个事务,可能会占用太多资源,导致性能下降或锁表。所以可能需要分批次提交事务,或者在出错时记录错误而不是回滚整个导入。 此外,异常处理也很重要,比如某条数据格式错误,不应中断整个导入过程,应该捕获异常记录错误日志,允许后续数据继续处理。同时,导入过程中可能需要进度提示,比如每处理一定数量输出日志,方便监控。 数据库连接池的配置也可能影响性能,确保有足够的连接,但不超过数据库的最大连接数。索引和约束在导入时可能会减慢速度,比如在导入前暂时禁用索引,导入后再重建,但需要权衡数据一致性。 可能的优化点还包括使用多线程读取和处理数据,但要小心线程安全和资源竞争。EasyExcel是否支持多线程读取?可能需要确认文档,通常读取是顺序的,但处理可以行,不过得注意顺序问题。 数据校验部分,比如字段长度、必填项、唯一性等,应在转换时处理,避免插入数据库时触发异常,影响整体性能。可能需要在应用层先做校验,减少数据库压力。 测试方面,可能需要生成百万数据的测试文件,模拟真实场景,查看内存使用和耗时,调整批处理大小和线程数以达到最优性能。 最后,整合这两个框架的步骤:添加依赖,定义实体类,编写读取监听器,配置MyBatis-Plus的分页插件和批量插入设置,编写服务层逻辑,处理读取、转换、批量插入,以及异常处理和日志记录。 可能用户还会关心实际代码示例,是否需要给出代码结构?比如EasyExcel的监听器如何实现,MyBatis-Plus的批量插入方法调用等。但用户的问题主要是介绍和思路,可能不需要详细代码,但可以简要提及关键部分。 总结,需要分步骤讲解,从框架介绍到导入流程,再到优化策略,确保用户理解如何处理大规模数据导入,避免常见陷阱,提升效率。</think>### 分步解析:MyBatis-Plus、EasyExcel 与百万级 Excel 数据导入 --- #### 一、技术简介 1. **MyBatis-Plus** - **定位**:MyBatis 的增强工具,简化 CRUD 开发(无需编写 XML 或 SQL)。 - **核心特性**: - 内置通用 Mapper/Service,支持单表操作如 `insert()`, `selectList()`, `updateById()` - 分页插件、乐观锁、逻辑删除等开箱即用 - 批量操作优化(如 `saveBatch()` 分批提交) 2. **EasyExcel** - **定位**:阿里巴巴开源的 Excel 处理工具,专注低内存、高性能场景。 - **核心优势**: - 基于事件模型的逐行解析(对比 POI 的全量加载) - 百万行 Excel 内存占用可控制在几十 MB 以内 - 支持复杂格式读取与数据校验 --- #### 二、百万级数据导入流程设计 **目标**:高效、稳定地将 Excel 数据写入数据库,规避 OOM(内存溢出)和性能瓶颈。 ##### 步骤 1:Excel 数据读取 - **逐行读取**:使用 EasyExcel 的 `ReadListener` 监听器逐行解析数据,避免全量加载。 ```java public class DataListener extends AnalysisEventListener<DataModel> { private List<DataModel> buffer = new ArrayList<>(BATCH_SIZE); @Override public void invoke(DataModel data, AnalysisContext context) { buffer.add(data); if (buffer.size() >= BATCH_SIZE) { processAndClearBuffer(); } } @Override public void doAfterAllAnalysed(AnalysisContext context) { processAndClearBuffer(); // 处理剩余数据 } } ``` ##### 步骤 2:数据校验与转换 - **校验规则**: - 字段格式(如日期、数字) - 唯一性检查(如防止重复插入) - 业务逻辑校验(如数值范围) - **优化策略**: - 在内存中缓存关键字段(如唯一键)进行快速去重 - 错误数据记录到日志或错误文件,不阻断整体流程 ##### 步骤 3:批量写入数据库 - **MyBatis-Plus 批量插入**: ```java // 设置批量提交参数(默认批次大小 1000) mybatisPlusConfig.setBatchSize(5000); // 使用 Service 层的 saveBatch() 方法 dataService.saveBatch(dataList); ``` - **优化技巧**: - 调整 `batchSize`(建议 3000~10000,根据数据库性能测试) - 关闭事务自动提交(手动分批提交) - 禁用数据库约束和索引(导入完成后再重建) --- #### 三、关键问题与解决方案 1. **内存溢出风险** - **EasyExcel 内存控制**:通过分片读取(如 `@ExcelIgnore` 忽略非必要字段) - **JVM 参数调优**:增加堆内存 `-Xmx4g`,启用 G1 垃圾回收器 2. **写入性能低下** - **批处理优化**: ```sql -- JDBC URL 添加 rewriteBatchedStatements=true jdbc:mysql://host/db?rewriteBatchedStatements=true ``` - **多线程写入**:将数据分片后由线程池行处理(需解决线程安全) 3. **数据一致性保障** - **局部回滚**:对每个批次单独事务处理,失败时仅回滚当前批次 - **断点续传**:记录已处理的行号,异常后从中断位置恢复 --- #### 四、完整技术栈配置 ```xml <!-- MyBatis-Plus 依赖 --> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.5.3</version> </dependency> <!-- EasyExcel 依赖 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>3.3.2</version> </dependency> ``` --- #### 五、性能测试参考 - **测试环境**:4 核 CPU / 8GB 内存,MySQL 8.0 - **结果示例**: - 100 万行 Excel(约 150MB) - 读取 + 写入总耗时:约 2 分钟 - 峰值内存占用:约 200 MB --- **总结**:通过 MyBatis-Plus 的批处理能力和 EasyExcel 的低内存解析,结合分批次提交、异步处理等策略,可高效完成百万级数据导入。重点需关注内存管理、批处理优化与异常处理机制。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值