二、spring-data-mongo同库动态分表

最新推荐文章于 2024-08-09 13:46:10 发布
最新推荐文章于 2024-08-09 13:46:10 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： SpringBoot学习记录 # spring mongo学习 文章标签： spring mongodb java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37548432/article/details/120258095
版权

spring-data-mongo分表

这里是续：建议先读上一边文章。

一、为什么会使用分表

我们知道mognoDB，支持集群分布式部署，支持分片。这也就是MongoDB使用ObjectId作为主键的原理。

ObjectId是每个文档的唯一标识。是一个24位的字符串（12字节）。

0-3字节：时间戳

4-6字节：机器Machine主机唯一标识

7-8: PID进程标识符

9-11： 计数器

我们可以按照一定的规则和分片算法去做海量数据的分片存储，例如常见的主键取余等。

那么既然已经支持分片了，为什么还要分表呢？这里是这样的：

  1. 原mongoDB采用单机部署，暂无集群配置条件，且暂未达到瓶颈。
  2. 希望能够较为简单的根据不同字段自定义分表规则
  3. 希望做到同库分表，而非分库分表，利于维护。

二、项目配置

见上一篇文章

三、如何做分表

这里还是采用orm-mapping的方式取操作数据库

1. po定义

这里我们定义一个订单PO，其中会根据商品类型和月份自动生成分表。

在ORM操作数据，便于映射生成数据表，所以见过有些方案在同库分表时，分表数量，分表类型时固定时候，会定义多个PO。也有采用了一个PO，但是使用了ShardingSpere去维护分表算法的。

这里基于mongTemplate实现。

package com.longer.springdatamongodemo.po;

import lombok.Data;
import org.springframework.data.mongodb.core.mapping.Document;
import org.springframework.data.mongodb.core.mapping.Field;

import java.math.BigDecimal;
import java.util.Date;
import java.util.Map;

/**
 * @author lang
 * @description 订单PO
 * @createTime 2021/9/12 21:32
 */
@Data
@Document(collection = "m_order")
public class Order extends BaseDocument{

    /** 商品uuid **/
    @Field("productUuid")
    private String productUuid;

    /** 商品类型 **/
    @Field("productType")
    private String productType;

    /** 订单用户Uuid **/
    @Field("userUuid")
    private String userUuid;

    /** 订单金额  这里没有使用 Java 的Big BigDecimal 不能对应上Mongo3.X+的Decimal128 
     * 因为Mongo不支持，所以需要做读写一个转换
     * 实现 JAVA  BigDecimal  <=>  Mongo Decimal128
     * **/
    /** 订单金额 **/
    @Field("orderAmount")
    private BigDecimal orderAmount;

    /** 订单时间 **/
    @Field("orderTime")
    private Date orderTime;

    /** 订单其他详细信息 **/
    @Field("orderDetail")
    private Map<String, Object> orderDetail;
    
}

2. repository定义

上一章一个po对应了一个repository，基于实现MongoRepository实现了单表操作。但是这里由于要做分表，我们需要一个po，一个repostitory，需要能够映射到多张表。与时基于MongoTemplate实现了自定义方法。

package com.longer.springdatamongodemo.repository.order;

import com.longer.springdatamongodemo.po.Order;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.stereotype.Repository;

import java.util.List;

/**
 * @author lang
 * @description 自定义用于orm-mapping的分表DAO层
 * @createTime 2021/9/12 21:45
 */
@Repository
public class OrderCustomRepository {

    private MongoTemplate mongoTemplate;
    @Autowired
    public void setMongoTemplate(MongoTemplate mongoTemplate) {
        this.mongoTemplate = mongoTemplate;
    }


    /**
     * 向指定分表插入数据。
     * @param order  订单实体
     * @param collectionName   分表名称
     * @return
     */
    public Order create(Order order, String collectionName){
        return mongoTemplate.save(order, collectionName);
    }


    /**
     * 查询指定分表中的所有订单记录
     * @param collectionName  查询指定分表中所有订单记录
     * @return
     */
    public List<Order> findAll(String collectionName) {
        return mongoTemplate.findAll(Order.class, collectionName);
    }
}

3. 测试类

接下来我们写测试业务类，来测试，是否数据会自动按照规则创建表，并写入指定表中。

package com.longer.springdatamongodemo.repository;

import com.longer.springdatamongodemo.po.Order;
import com.longer.springdatamongodemo.repository.order.OrderCustomRepository;
import org.bson.types.Decimal128;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.math.BigDecimal;
import java.util.Date;
import java.util.List;

/**
 * @author lang
 * @description 订单测试类
 * @createTime 2021/9/12 22:05
 */
@SpringBootTest
public class OrderRepositoryTests {

    private OrderCustomRepository orderCustomRepository;
    @Autowired
    public void setOrderCustomRepository(OrderCustomRepository orderCustomRepository) {
        this.orderCustomRepository = orderCustomRepository;
    }

    /**
     * 创建订单1, 写入分表1，这里更新商品类型做分表
     */
    @Test
    void createOrder1Test() {
        Order order = new Order();
        order.setProductUuid("商品uuid2");
        order.setProductType("food");
        order.setUserUuid("User123");
        order.setOrderAmount(BigDecimal.valueOf(31411.41));
        order.setOrderTime(new Date());

        /** 根据分表规则，指定写入订单分表， 如这里是食品类 订单记录 **/
        String collectionName = "m_order_" + order.getProductType();
        Order orderSaved = orderCustomRepository.create(order, collectionName);
        System.out.println("orderSaved = " + orderSaved);
    }

    /**
     * 创建订单2， 写入分表2，这里根据商品类型做分表
     */
    @Test
    void createOrder2Test() {
        Order order = new Order();
        order.setProductUuid("商品uuid1");
        order.setProductType("clothes");
        order.setUserUuid("User123");
        order.setOrderAmount(BigDecimal.valueOf(341.462));
        order.setOrderTime(new Date());

        /** 根据分表规则，指定写入订单分表， 如这里是服装类 订单记录 **/
        String collectionName = "m_order_" + order.getProductType();
        Order orderSaved = orderCustomRepository.create(order, collectionName);
        System.out.println("orderSaved = " + orderSaved);
    }

    /**
     * 查询订单2对应分表的所有
     */
    @Test
    void findOrder2Test() {
        /** 指定查询分表， m_order是OrderPo映射的文档，后面的_clothes是分表依据 **/
        String collectionName = "m_order_" + "clothes";
        List<Order> orderList = orderCustomRepository.findAll(collectionName);
        System.out.println("orderList = " + orderList);
    }


}

4. 一点调整

注意到，订单OrderPo中订单金额orderAmount 定义的类型是JAVA的BigDecimal，但是在Mongo中并不支持该类型，Mongo中支持的是Decimal128，所以我们这里需要做一个Java BigDecimal <=> MongoDB Decimal12的 读写互转。具体解析可以搜springboot mongo decimal 关键词就可以查到描述，这里不赘述。

见之前定义的配置文件类MonoConfig，将其修改为如下配置

package com.longer.springdatamongodemo.config;

import com.longer.springdatamongodemo.converter.BigDecimalToDecimal128Converter;
import com.longer.springdatamongodemo.converter.Decimal128ToBigDecimalConverter;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Lazy;
import org.springframework.data.convert.CustomConversions;
import org.springframework.data.mongodb.core.convert.DefaultMongoTypeMapper;
import org.springframework.data.mongodb.core.convert.MappingMongoConverter;
import org.springframework.data.mongodb.core.convert.MongoCustomConversions;

import java.util.ArrayList;
import java.util.List;

/**
 * @author lang
 * @description mongo配置类
 * @createTime 2021/9/9 23:09
 */
@Configuration
public class MongoConfig implements InitializingBean {

    private MappingMongoConverter mappingMongoConverter;
    @Autowired
    @Lazy
    public void setMappingMongoConverter(MappingMongoConverter mappingMongoConverter) {

        /**
         * 新增 java <=>  decimal数据类型读写 互转
         */
        List<Object> converterList = new ArrayList<>();
        converterList.add(new BigDecimalToDecimal128Converter());
        converterList.add(new Decimal128ToBigDecimalConverter());
        mappingMongoConverter.setCustomConversions(new MongoCustomConversions(converterList));

        this.mappingMongoConverter = mappingMongoConverter;
    }


    @Override
    public void afterPropertiesSet() throws Exception {
        // 用于设置保存的mongo中移除 _class列
        mappingMongoConverter.setTypeMapper(new DefaultMongoTypeMapper(null));
    }
}

并写两个转化器实现spring.core自带的两种数值转换方法

  1. BigDecimalToDecimal128Converter
package com.longer.springdatamongodemo.converter;

import org.bson.types.Decimal128;
import org.springframework.core.convert.converter.Converter;
import org.springframework.data.convert.WritingConverter;

import java.math.BigDecimal;

/**
 * @author lang
 * @description Java -> MongoDB Decimal128读写转换器
 * @createTime 2021/9/12 22:47
 */

@WritingConverter
public class BigDecimalToDecimal128Converter implements Converter<BigDecimal, Decimal128> {
    @Override
    public Decimal128 convert(BigDecimal bigDecimal) {
        return new Decimal128(bigDecimal);
    }
}
  1. Decimal128ToBigDecimalConverter
package com.longer.springdatamongodemo.converter;

import org.bson.types.Decimal128;
import org.springframework.core.convert.converter.Converter;
import org.springframework.data.convert.ReadingConverter;

import java.math.BigDecimal;

/**
 * @author lang
 * @description mongo -> java  Decimal128 转 BigDecimal
 * @createTime 2021/9/12 22:50
 */
@ReadingConverter
public class Decimal128ToBigDecimalConverter implements Converter<Decimal128, BigDecimal> {
    @Override
    public BigDecimal convert(Decimal128 decimal128) {
        return decimal128.bigDecimalValue();
    }
}

添加如上配置后，运行测试类，看到到不同的document根据分表键插入到不同的collection中了，实现我们需要的orm-mapping下的同库分表业务。

其他

  1. 上篇回顾: ORM-Mapping MongoDB的使用配置

  2. 演示代码项目Gitee地址：longer-spring-boot-study-diary: 我的spring-boot学习记录 - Gitee.com

  3. 参考文章|官方Guide传送门：Spring Data MongoDB

码字不易，多多支持

longerking
关注
专栏目录
springboot mongodb 动态数据源 分库 分表
fengyi_336494的博客
03-16 4685
背景 业务侧分库分表 根据账户切换不同数据库，多个账户在同一个库。例如0001-0005的客户在一个库。 根据账户分表，账户名_表名 其实使用mongodb不用业务侧做这种分库分表，历史原因，还是实现了。 分库 springboot mongodb 的 MongoTemplate 默认是一个database。我们需要动态切换。所以需要改造。 通过跟踪MongoTemplate构造我们发现，有一个关键的类MongoDatabaseFactory database工厂。 这个接口定义了一个方法getMon
Spring Boot实战-集成mongdb并实现自动分库分表
我的小熊不见了
02-15 4230
MongoDB是专为可扩展性，高性能和高可用性而设计的数据库。它可以从单服务器部署扩展到大型、复杂的多数据中心架构。利用内存计算的优势，MongoDB能够提供高性能的数据读写操作。 MongoDB使用文档的方式存储数据，而且非常容易进行分库分表的操作。在Spring Boot中集成mongdb非常简单，只需要在新建项目的时候勾选mongdb一项即可，使用起来也足够简单。但是由于使用时很简单也造...
spring boot 项目中 mongodb 分库分表分片小记
最新发布
weixin_42486564的博客
08-09 582
项目是Saas化平台，由于大量非结构化数据存在MongoDb中，由于数据量增长，单表存放已经存在瓶颈。故而考虑优化数据存储方式提高效率。
mongodb动态分表
CTLLIN的专栏
08-14 756
mongo动态分库分表,当单个表数据量过大需要分表，利用spel和threadlocal实现线程隔离，每个线程都可以拥有不同的表名
SpringBoot Mongo 动态分表 动态修改表名
Misster华
05-11 1585
前言 为什么分表？ mongo记录请求日志，由于业务的扩展，日志越来越多，导致mongo日志文件越大，导致查询特别慢。话不多说，直接上代码 一、使用步骤 // mongo 表名 public static final List<String> MONGO_SUBMASTER_LIST = Arrays.asList("requestLog"); @Autowired private MongoTemplate mongoTemplate;
Spring Boot集成mongdb并实现分库分表
小明程序猿
08-04 4089
Spring Boot集成mongdb分表分库 mongdb分表分库
微服务MySQL分库分表数据到MongoDB同步方案
Java_zhujia的博客
11-23 982
在现有的架构中做大数据分析，第一步面临的问题就是数据如何从关系型数据库到非关系数据库，网上有很多的解决方案，我们也经过了很多的摸索，经历了三套方案的实践，最终使用了canal。这是我们大数据部门的一个同事张同睿写的文章，分享给大家，如果感兴趣后面可以进一步的介绍。
2. sharding-jdbc源码之Configuration
阿飞Javaer的专栏
05-04 1599
阿飞Javaer，转载请注明原创出处，谢谢！ 上篇文章sharding-jdbc源码之数据源介绍了通过Java硬编码创建ShardingDataSource。这篇文章通过分析sharding-jdbc-config-parent模块，学习如何通过YAML配置或者spring配置创建ShardingDataSource；sharding-jdbc-config-parent模块包含了三个子...
高性能数据处理、NoSQL、分库分表【MongoDB】
LiLi的博客
12-06 3047
MongoDB 一、 MongoDB 简介 1 什么是 MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++语言编写。在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数
使用spring-data-mongodb对mongo进行联表分页查询
qazwsx081的专栏
07-31 1618
对应mongo的sql语句 查询总数量 db.getCollection('user').aggregate([ { $lookup: { // 左连接 from: "dialog", // 关联到的表 localField: "_id", // user 表关联的字段 foreignField: "usersId", // dialog 表...
springboot整合mongodb
07-23
mongodb版本号3.2,需手动开启http服务，启动时使用命令 ./mongod --httpinterface 新增 修改 删除 查询 排序 分页 可查看： https://blog.csdn.net/m0_37132783/article/details/96992439
mycat单库分表
fengchengwu2012的博客
09-16 538
单库分表功能要在mycat1.6版本以上，同库分表：所有的分表都在一个数据库中，由于数据库中表名不能重复，因此需要把数据表名起成不同的名字。将t_source 表按照月份分成12张表 1、server.xml配置,添加mycat登陆账户，mycat端口8066 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE ...
MongoDB分表与分片选择的一次实践
街头愤青的专栏
07-17 2万+
背景：最近公司在开发一款应用，由于应用的数据敏感，在假设客户端为安全的前提下，为避免由于有权限访问数据库的任何人及网络传输过程的泄密，用户的各业务类型数据均转成json然后由前端加密保存于后端，而后端返回给前端的数据也均为加密数据，前端通过不保存于系统的用户自定义密钥来进行加解密，后端的数据存储使用MongoDB(基于其它原因的选型),因此该内容的表设计大概就仅有_id、业务类型、密文、修改日期等字
Python 全栈系列185 Mongo分表性能测试
yukai08008的博客
09-05 415
本质上，分表之所以能更快，是因为数据根据某个key进行了分流。这样在接受新的查询时可以减少不必要的索引检索 ，例如一旦id的模是1，那么就直接到第一个分表查询就行了。减少了99%的检索量。当然做分表会有一些额外的开销，例如根据id计算模，以及发起并发请求等。在特别小的查询中，可能还不如直接查询快。1 大数据的分割存储。这样不用担心数据太大，一台机器放不下。2 大数据的处理。因为存储分割了，当面对一亿数据时，天然的变为了100个100万，处理起来更容易。3 更高的数据处理能力。
SpringBoot操作MongoDB实现分页查询
热门推荐
不能说的秘密的博客
06-03 2万+
前几天写了一篇关于介绍SpringBoot的简单使用。以及使用SpringBoot JPA做了一次数据库的一个CURD (地址:http://blog.csdn.net/canot/article/details/51449589)这篇文件简单学习Spring Boot JPA 或者说是Spring Data对现在很流行的一个nosql产品MongoDB的简单操作(主要针对在分页查询上)
mongodb 分表_微服务MySQL分库分表数据到MongoDB同步方案
weixin_39993454的博客
12-22 375
在现有的架构中做大数据分析，第一步面临的问题就是数据如何从关系型数据库到非关系数据库，网上有很多的解决方案，我们也经过了很多的摸索，经历了三套方案的实践，最终使用了canal。这是我们大数据部门的一个同事张同睿写的文章，分享给大家，如果感兴趣后面可以进一步的介绍。需求背景近年来，微服务概念持续火热，网络上针对微服务和单体架构的讨论也是越来越多，面对日益增长的业务需求是，很多公司做技术架构升级时优先...
mongodb java分库实现_【整理】mongodb分库
weixin_36335651的博客
03-02 911
mongodb 分库mongodb 分库分表“mongo有集群的功能，自动帮你分库分表。对你来说分库分表是透明的。”“其实在该不该分表，分库上，mongo和传统的关系型数据库思维基本一致。例如:当你表的索引大到不能完全加载或快速地加载到内存的时候，你能不分表吗？当你库内容大到一台DB撑不下的时候，你能不分库吗？所以我认为，分表主要还是看单表的性能可以支撑得起来吗? 不行就分表。具体如何判断单表是否...
数据库分库分表（浅谈）
huang_yx的博客
03-23 399
数据库分表是为了解决单表海量数据的查询性能问题，分库是为了解决单台数据库的并发访问压力问题分表的两种方案：1.同库分表：所有的分表都在一个数据库中，由于数据库中表名不能重复，因此需要把数据库表名取成不同的名字。   ●  优点：由于都在一个数据库中，公共表，不必进行复制，处理简单；   ●  缺点：由于还在一个数据看中，CPU、内存、文件IO、网络IO等瓶颈还是无法解决，只能降低单表中的数据记录数...
spring-data-mongo doInsertBatch是异步还是同步
05-26
在默认情况下，Spring Data MongoDB 的 doInsertBatch 方法是同步的，也就是说，该方法的执行会阻塞当前线程，直到所有数据都被插入到数据库中。但是，你可以通过配置异步处理器来将其转换为异步操作。 具体来说，你可以通过配置一个实现了 AsyncMongoOperations 接口的异步操作类，并在该类中覆盖 doInsertBatch 方法，以实现异步插入数据的功能。 下面是一个示例代码： ```java public class AsyncMongoTemplate implements AsyncMongoOperations { private final MongoTemplate mongoTemplate; public AsyncMongoTemplate(MongoTemplate mongoTemplate) { this.mongoTemplate = mongoTemplate; } @Override public <T> List<CompletableFuture<?>> doInsertBatch(Collection<? extends T> batchToSave, Class<T> entityClass) { List<CompletableFuture<?>> futures = new ArrayList<>(); for (T entity : batchToSave) { CompletableFuture<?> future = CompletableFuture.runAsync(() -> mongoTemplate.insert(entity)); futures.add(future); } return futures; } // 其他异步操作的实现 } ``` 在上面的代码中，我们使用 Java 8 中的 CompletableFuture 类来实现异步插入操作。对于每个实体对象，我们都创建了一个 CompletableFuture 对象，并将其添加到返回的 futures 列表中。这样，调用 doInsertBatch 方法后，就可以在不阻塞当前线程的情况下异步插入数据了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值