优雅地sharking-proxy进行mysql分库分表

最新推荐文章于 2024-06-28 15:43:28 发布

I Just code

最新推荐文章于 2024-06-28 15:43:28 发布

阅读量309

点赞数

文章标签： mysql 数据库 java

本文链接：https://blog.csdn.net/weixin_45973130/article/details/120527091

版权

本文介绍了如何使用Sharding-proxy对用户数据表进行拆分，以应对5亿用户导致的MySQL性能下降问题。通过配置server.yaml和config-sharding.yaml，实现了分库分表策略，并展示了从下载到测试的整个过程。

摘要由CSDN通过智能技术生成

前言

由于项目中用户数量已经达到5亿，数据库存储性能有所降低，因此，需要将原来的数据表拆分出10张表来存放用户数据，提高mysql性能。

技术选型

据了解，mycat能够实现分库分表功能，但是，在这里我们还是选择sharking-proxy来做分表处理。好吧，那就开始苦逼的研究之旅了。

获取sharding-proxy

下载sharding-proxy的地址为

https://shardingsphere.apache.org/document/current/cn/downloads/，在这里，我下载的是最新版本的sharding-proxy来演示。

下载后，我们得到的文件为：apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz

配置

将压缩包解压放到服务器10.2.38.5的/usr/local/目录下，并重命名为sharding-proxy。

为了避免干扰，删除多余配置，剩下这几个配置，如下图：

在这里插入图片描述

server.yaml为全局配置文件，配置如下：

authentication:
    users:
       root:#连接代理使用的用户名
          password: root   #连接代理使用的密码
# sharding:
# password: sharding
# authorizedSchemas: sharding_db
#
props:
    max.connections.size.per.query: 1
         acceptor.size: 16 # The default value is available processors count * 2.
         executor.size: 16 # Infinite by default.
         proxy.frontend.flush.threshold: 128 # The default value is 128.
# LOCAL: Proxy will run with LOCAL transaction.
# XA: Proxy will run with XA transaction.
# BASE: Proxy will run with B.A.S.E transaction.
  proxy.transaction.type: LOCAL
  proxy.opentracing.enabled: false
  query.with.cipher.column: true
  sql.show: false

config-sharding.yaml为数据配置文件，配置如下：

######################################################################################################
#
# If you want to connect to MySQL, you should manually copy MySQL driver to lib directory.
#
######################################################################################################
schemaName: sharding_db
#数据源配置
dataSources:
    ds_0:
       url: jdbc:mysql://localhost:3306/extmail?useUnicode=true&characterEncoding=utf8&useSSL=false
       username: root
       password: root
       connectionTimeoutMilliseconds: 30000
       idleTimeoutMilliseconds: 60000
       maxLifetimeMilliseconds: 1800000
       maxPoolSize: 50
#规则配置
shardingRule:
    tables:
       mailbox:
           actualDataNodes: ds_0.mailbox_${0..9}
           tableStrategy:
              inline:
                 shardingColumn: username
                 algorithmExpression: mailbox_${username.substring(10,11)}
          keyGenerator:
             type: SNOWFLAKE
             column: username
      domain:
          actualDataNodes: ds_0.domain
          tableStrategy:
              none:
      alias:
         actualDataNodes: ds_0.alias
         tableStrategy:
            none:
   defaultDataSourceName: ds_0
   defaultTableStrategy:
       none:
#主重配置
masterSlaveRule:
    name: ms_ds
    masterDataSourceName: ds_0
    slaveDataSourceNames:
       - ds_0