MySQL集群(2)-数据分片

已于 2023-05-29 08:24:59 修改
阅读量912 收藏 1
点赞数 1
分类专栏： MySQL 文章标签： 数据库
于 2023-03-24 21:10:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46549023/article/details/129727914
版权

前置说明:读写分离主要满足数据库的读写操作压力，但是没有满足数据存储的需求，那么此时就需要把数据分散存储到多台服务器上。

数据分片为水平分片和垂直分片。

上篇：MySql集群(1)-读写分离_景庆197的博客-CSDN博客

本章的代码：GitHub - qing0149/ShardingSphere-JDBC-demo

为例方便配置文件的记忆，以分库分表的的properties为例

1.配置数据源(连接哪些数据库)

2.分片的配置(连接哪些张表)

3.分表策略(哈希、分布式等)，分表设置选择分表策略

4.分库策略,分库设置再选分库策略

5.多表关联设置（就一行，但是得注意分表策略）

6.广播表设置（默认所有库中的表都广播，但是也可以设置指定库，就一行）

目录

1.垂直分片

2.水平分片 

3.垂直分片实现

4.水平分片的实现

5.多表关联

6.广播表

1.垂直分片

理念：根据不同业务专库专用，垂直拆分只能缓解数据和访问量的问题，但无法根治。如果表中的数据依旧超过单节点所能承受的阈值，则需要垂直分表来处理。 

垂直分表：把常访问的字段进行单独建表。不常访问的表隔离出去。当一个表的数据或字段少了就会提高查询速度。

2.水平分片 

又称为横向拆分。可以横向拆分表或者数据库，在存储数据时通过一些规则将数据分别存到不同数据库或者表中。根据阿里开发手册如果单行数超过500万或单表容量超过2GB才推荐分库分表，如果预计三年之内达不到此数量级则不建议分库分表。

3.垂直分片实现

现价假设有一个user和order的库

ps:专库专表要注意事务问题@Transactional

创建server-user

#Docker启动容器
docker run -d \
-p 3301:3306 \
-v /llkj/server/user/conf:/etc/mysql/conf.d \
-v /llkj/server/user/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-user \
--restart=always \
mysql:8.0.29

#进入bin/bash启动
#进入容器：
docker exec -it server-user env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
#修改默认密码插件
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

#创建数据库
CREATE DATABASE db_user;
USE db_user;
CREATE TABLE t_user (
 id BIGINT AUTO_INCREMENT,
 uname VARCHAR(30),
 PRIMARY KEY (id)
);

创建server-order

docker run -d \
-p 3302:3306 \
-v /llkj/server/order/conf:/etc/mysql/conf.d \
-v /llkj/server/order/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-order \
--restart=always \
mysql:8.0.29
#启动msyql
#进入容器：
docker exec -it server-order env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
#修改默认密码插件
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
#创建相关表
CREATE DATABASE db_order;
USE db_order;
CREATE TABLE t_order (
  id BIGINT AUTO_INCREMENT,
  order_no VARCHAR(30),
  user_id BIGINT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id) 
);

配置垂直分片内容

# 应用名称
spring.application.name=sharging-jdbc-demo
# 开发环境设置
spring.profiles.active=dev
# 内存模式
spring.shardingsphere.mode.type=Memory
# 打印SQl
spring.shardingsphere.props.sql-show=true
# 配置真实数据源
spring.shardingsphere.datasource.names=server-user,server-order
# 配置第 1 个数据源
spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://hadoop100:3301/db_user
spring.shardingsphere.datasource.server-user.username=root
spring.shardingsphere.datasource.server-user.password=123456
# 配置第 2 个数据源
spring.shardingsphere.datasource.server-order.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.server-order.jdbc-url=jdbc:mysql://hadoop100:3302/db_order
spring.shardingsphere.datasource.server-order.username=root
spring.shardingsphere.datasource.server-order.password=123456
# 标准分片表配置（数据节点）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order.t_order

4.水平分片的实现

 目标实现：

创建容器

#容器1
docker run -d \
-p 3310:3306 \
-v /llkj/server/order0/conf:/etc/mysql/conf.d \
-v /llkj/server/order0/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-order0 \
--restart=always \
mysql:8.0.29
#容器2
docker run -d \
-p 3310:3306 \
-v /llkj/server/order0/conf:/etc/mysql/conf.d \
-v /llkj/server/order0/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-order1 \
--restart=always \
mysql:8.0.29

#登录mysql服务器
#进入容器：
docker exec -it server-order0 env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
#修改默认密码插件
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

#创建表
CREATE DATABASE db_order;
USE db_order;
CREATE TABLE t_order0 (
  id BIGINT,
  order_no VARCHAR(30),
  user_id BIGINT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id) 
);
CREATE TABLE t_order1 (
  id BIGINT,
  order_no VARCHAR(30),
  user_id BIGINT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id) 
);

application.properties配置

完整版配置:

# 应用名称
spring.application.name=sharging-jdbc-demo
# 开发环境设置
spring.profiles.active=dev
# 内存模式
spring.shardingsphere.mode.type=Memory

# 打印SQl
spring.shardingsphere.props.sql-show=true

# 配置真实数据源
spring.shardingsphere.datasource.names=server-user,server-order0,server-order1

# 配置第 1 个数据源
spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://hadoop100:3301/db_user
spring.shardingsphere.datasource.server-user.username=root
spring.shardingsphere.datasource.server-user.password=123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.server-order0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order0.jdbc-url=jdbc:mysql://hadoop100:3310/db_order
spring.shardingsphere.datasource.server-order0.username=root
spring.shardingsphere.datasource.server-order0.password=123456

# 配置第 3 个数据源
spring.shardingsphere.datasource.server-order1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order1.jdbc-url=jdbc:mysql://hadoop100:3311/db_order
spring.shardingsphere.datasource.server-order1.username=root
spring.shardingsphere.datasource.server-order1.password=123456

#========================标准分片表配置（数据节点配置）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
#spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order1.t_order0
#spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order0
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order$->{0..1}
#------------------------水平分库策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-column=user_id
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-algorithm-name=alg_inline_userid
#------------------------水平分库算法配置
# 行表达式分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.type=INLINE
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.props.algorithm-expression=server-order$->{user_id % 2}

# 取模分片算法
# 分片算法类型 -- 推荐
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.type=MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.props.sharding-count=2

#------------------------分表策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=alg_hash_mod

#------------------------分表算法配置
# 哈希取模分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

#------------------------分布式序列策略配置
# 分布式序列列名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=id
# 分布式序列算法名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=alg_snowflake

# 分布式序列算法配置
# 分布式序列算法类型
spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.type=SNOWFLAKE
# 分布式序列算法属性配置
#spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.props.xxx=

分步骤：

#========================基本配置
# 应用名称
spring.application.name=sharging-jdbc-demo
# 开发环境设置
spring.profiles.active=dev
# 内存模式
spring.shardingsphere.mode.type=Memory
# 打印SQl
spring.shardingsphere.props.sql-show=true

配置数据源

#========================数据源配置
# 配置真实数据源
spring.shardingsphere.datasource.names=server-user,server-order0,server-order1

# 配置第 1 个数据源
spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://192.168.200.130:3301/db_user
spring.shardingsphere.datasource.server-user.username=root
spring.shardingsphere.datasource.server-user.password=123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.server-order0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order0.jdbc-url=jdbc:mysql://192.168.200.130:3310/db_order
spring.shardingsphere.datasource.server-order0.username=root
spring.shardingsphere.datasource.server-order0.password=123456

# 配置第 3 个数据源
spring.shardingsphere.datasource.server-order1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order1.jdbc-url=jdbc:mysql://192.168.200.130:3311/db_order
spring.shardingsphere.datasource.server-order1.username=root
spring.shardingsphere.datasource.server-order1.password=123456

标准分片配置

#========================标准分片表配置（数据节点配置）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order0.t_order0,server-order0.t_order1,server-order1.t_order0,server-order1.t_order1

ps:不要忘记修改Order实体类的主键策略

//@TableId(type = IdType.AUTO)//依赖数据库的主键自增策略
@TableId(type = IdType.ASSIGN_ID)//分布式id

行表达式

行表达式 :: ShardingSphere

#========================标准分片表配置（数据节点配置）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order$->{0..1}

分片算法

官网：数据分片 :: ShardingSphere

水平分库：

#------------------------分库策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-column=user_id
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-algorithm-name=alg_inline_userid
#------------------------分片算法配置
# 行表达式分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.type=INLINE
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.props.algorithm-expression=server-order$->{user_id % 2}
# 取模分片算法
# 分片算法类型 -- 推荐
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.type=MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.props.sharding-count=2

水平分表：

#------------------------分表策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=alg_hash_mod


#------------------------分片算法配置
# 哈希取模分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

算法设置：

#------------------------分布式序列策略配置
# 分布式序列列名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=id
# 分布式序列算法名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=alg_snowflake

# 分布式序列算法配置
# 分布式序列算法类型
spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.type=SNOWFLAKE
# 分布式序列算法属性配置
#spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.props.xxx=

5.多表关联

通一个用户的订单表和订单详情表中的数据都在同一个数据中，避免跨库关联，两张表应该选择相同的分片策略。

主要作用：避免笛卡尔级

在server-order0和server-order1中分别创建两张订单详情表t_order_item0和t_order_item1

CREATE TABLE t_order_item0(
    id BIGINT,
    order_no VARCHAR(30),
    user_id BIGINT,
    price DECIMAL(10,2),
    `count` INT,
    PRIMARY KEY(id)
);

CREATE TABLE t_order_item1(
    id BIGINT,
    order_no VARCHAR(30),
    user_id BIGINT,
    price DECIMAL(10,2),
    `count` INT,
    PRIMARY KEY(id)
);

全部配置

# 应用名称
spring.application.name=sharging-jdbc-demo
# 开发环境设置
spring.profiles.active=dev
# 内存模式
spring.shardingsphere.mode.type=Memory
# 打印SQl
spring.shardingsphere.props.sql-show=true
# 配置真实数据源
spring.shardingsphere.datasource.names=server-user,server-order0,server-order1
# 配置第 1 个数据源
spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://hadoop100:3301/db_user
spring.shardingsphere.datasource.server-user.username=root
spring.shardingsphere.datasource.server-user.password=123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.server-order0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order0.jdbc-url=jdbc:mysql://hadoop100:3310/db_order
spring.shardingsphere.datasource.server-order0.username=root
spring.shardingsphere.datasource.server-order0.password=123456

# 配置第 3 个数据源
spring.shardingsphere.datasource.server-order1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order1.jdbc-url=jdbc:mysql://hadoop100:3311/db_order
spring.shardingsphere.datasource.server-order1.username=root
spring.shardingsphere.datasource.server-order1.password=123456

#========================标准分片表配置（数据节点配置）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
#spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order1.t_order0
#spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order0
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order$->{0..1}
#------------------------标准分片表配置（数据节点配置）
spring.shardingsphere.rules.sharding.tables.t_order_item.actual-data-nodes=server-order$->{0..1}.t_order_item$->{0..1}

#------------------------水平分库策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-column=user_id
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-algorithm-name=alg_inline_userid

#------------------------水平分库算法配置
# 行表达式分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.type=INLINE
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.props.algorithm-expression=server-order$->{user_id % 2}


# 取模分片算法
# 分片算法类型 --关联表会有问题
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.type=MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.props.sharding-count=2

#------------------------分表策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=alg_hash_mod

#------------------------分表算法配置
# 哈希取模分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

#------------------------分布式序列策略配置
# 分布式序列列名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=id
# 分布式序列算法名称
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=alg_snowflake

# 分布式序列算法配置
# 分布式序列算法类型
spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.type=SNOWFLAKE
# 分布式序列算法属性配置
#spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.props.xxx=



#------------------------分库策略---user_id-----
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order_item.database-strategy.standard.sharding-column=user_id
# 分片算法名称
#spring.shardingsphere.rules.sharding.tables.t_order_item.database-strategy.standard.sharding-algorithm-name=alg_mod
spring.shardingsphere.rules.sharding.tables.t_order_item.database-strategy.standard.sharding-algorithm-name=alg_inline_userid

#------------------------分表策略
# 分片列名称
spring.shardingsphere.rules.sharding.tables.t_order_item.table-strategy.standard.sharding-column=order_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_order_item.table-strategy.standard.sharding-algorithm-name=alg_hash_mod

#------------------------分布式序列策略配置
# 分布式序列列名称
spring.shardingsphere.rules.sharding.tables.t_order_item.key-generate-strategy.column=id
# 分布式序列算法名称
spring.shardingsphere.rules.sharding.tables.t_order_item.key-generate-strategy.key-generator-name=alg_snowflake
#------------------------绑定表------------
spring.shardingsphere.rules.sharding.binding-tables[0]=t_order,t_order_item

6.广播表

指所有分片数据源中都存在的表，指每个每个表的结构在每个数据均一致。适用于数据量不发且需要海量数据的表进行查询的场景。比如字典表。

广播表特点：

1）每个数据都必须有的表

2）新增数据的时候行所有的结点进行添加

3）获取数据的时候只能从一个结点进行获取

在service-order0,service-order1和server-user服务器中分别创建t_dict表

CREATE TABLE t_dict(
    id BIGINT,
    dict_type VARCHAR(200),
    PRIMARY KEY(id)
);

配置广播表：

#数据节点可不配置，默认情况下，向所有数据源广播
spring.shardingsphere.rules.sharding.tables.t_dict.actual-data-nodes=server-user.t_dict,server-order$->{0..1}.t_dict

# 广播表
spring.shardingsphere.rules.sharding.broadcast-tables[0]=t_dict

景庆197
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Mycat+Mysql实现数据分片存储高可用集群
05-21
### Mycat+Mysql实现数据分片存储高可用集群 #### 概述 在当前大数据时代背景下，单一数据库系统的性能瓶颈越来越明显，特别是在面对海量数据处理时，传统的单机数据库难以满足需求。为了应对这一挑战，数据分片...
MySQL数据分片
qq_34091325的博客
06-30 680
数据分片就是对数据库进行拆分，可以是分库也可以是分表，达到多台服务器负载的效果。数据分片分为水平分割：把一个表拆分到多个服务器，垂直分割：把不同表分到不同服务器。1。
Mysql - 分片分库分表分区方案
yueerba126的博客
09-27 2118
数据库中间件把读写任务分别发送给不同节点执行，可以降低单一节点负载；对于 PXC 集群来说，不需要设置读写分离，值做均衡负载即可。（因为 PXC 集群每一个节点都是相同地位）对于 Replication 集群主从节点功能明确，需要做读写分离。写发送到 master，读发送到 Slave在 Mycat 中，一种是全局表，一种是分片表。数据字典表或则数据量不是很大的业务表，都可以定义成 全局表，在每个分片中的数据都是一样的。给虚拟表的 type 设置为 global，就是全局表了。
MySQL集群最全详解(图文全面总结)
最新发布
zznn0306的博客
05-28 3574
主从复制是 MySQL 中最常用的集群模式之一，一个主服务器（Master）负责所有的写操作，并将这些更改，异步复制到一个或多个从服务器（Slave）上。在实际应用中，为了进一步提高数据库的性能和扩展性，可以采用读写分离、和分片法（分库分表）相结合的方式构建 MySQL 集群。MyCAT 是一个开源的数据库中间件，MyCAT 通过配置规则将， SQL 请求路由到相应的数据库、或表。从服务器上的读取和应用：从服务器读取主服务器上的二进制日志，并在从服务器上重放这些日志。
Mysql - 分片分库分表分区概论
yueerba126的博客
09-30 2413
随着业务的增长和数据量的膨胀，传统的单一数据库架构可能无法满足现代应用的性能和可靠性需求。数据库的扩展策略通常分为两大类：垂直扩展（Vertical Scaling）和水平扩展（Horizontal Scaling）。
MySQL8分片集群搭建
神棍之路
03-31 2337
架构图 参考文档 https://severalnines.com/database-blog/mysql-innodb-cluster-80-complete-deployment-walk-through-part-one https://severalnines.com/database-blog/mysql-innodb-cluster-80-complete-operation-walk-through-part-two MySQL InnoDB Cluster包含三个组件 MySQL Gro
实战体验几种MySQLCluster方案
skykent的博客
07-03 1496
1.背景 MySQL的cluster方案有很多官方和第三方的选择，选择多就是一种烦恼，因此，我们考虑MySQL数据库满足下三点需求，考察市面上可行的解决方案： 高可用性：主服务器故障后可自动切换到后备服务器可伸缩性：可方便通过脚本增加DB服务器负载均衡：支持手动把某公司的数据请求切换到另外的服务器，可配置哪些公司的数据服务访问哪个服务器 需要选用一种方案满足以上需求。在MySQL官方网站上参
MySQL集群安装 - 半亩小菜园.docx
02-23
5. 安装Mycat，配置数据源、路由规则、分片策略等，并启动Mycat服务。 6. 安装MHA-manager，配置监控和故障转移策略。 在配置过程中，需要注意各个组件之间的通信，如Keepalived与HAProxy之间的健康检查，Mycat与...
cpp-Myproxy一个MYSQL数据库集群的分片代理
08-16
总结起来，cpp-Myproxy是一个用C++实现的MySQL数据库集群分片代理，它简化了数据分片的复杂性，提高了数据库集群的性能和可扩展性。通过深入研究该项目，开发者不仅可以掌握数据库分片技术，还能学习到C++在开发高...
MySQL-Cluster 集群安装部署
07-26
1. 自动分片实现高水平的写入扩展能力： MySQL-Cluster 可以自动将数据分片到多个存储节点上，从而实现高水平的写入扩展能力。 2. 99.999% 的可用性： MySQL-Cluster 可以提供高达 99.999% 的可用性，满足高可用性的...
mysql集群方案对比
10-28
- 缺点：复杂性高，数据管理困难，可能影响跨分片的查询性能。 以上方案的对比分析，应结合具体业务需求、数据规模、性能要求和资源限制进行选择。例如，对于实时交易系统，NDB Cluster和Galera Cluster可能是理想...
11.MySQL数据分片
行走的皮卡丘
09-02 2009
MySQL数据分片
Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上
qq_759035366的博客
12-04 2160
在MySQL实现集群Cluster架构中，存储节点使用的存储引擎为NDB引擎。NDB引擎是一种分布式的基于内存的引擎，因此作为MySQL集群Cluster架构中的存储节点，内存一定要足够大。使用NDB引擎有以下优点：1、基于内存存储，没有磁盘I/O瓶颈，速度快。2、扩展性好，增加节点即可实现数据库集群Cluster的扩展。3、冗余性好，单个节点故障，集群还可以提供服务。同时，NDB引擎也有以下缺点：1、由于存储基于内存，因此在设备断电后数据即丢失。2、存储空间大小受内存大小限制。
MySQL-分片规则
it_zhenxiaobai的博客
03-29 834
将存放在一台数据库服务器中的数据，按照特定方式（mycat提供的算法-分片规则）进行拆分，分散存放到多台数据库服务器中，以达到分散单台服务器负载的效果。
分布式缓存Hazelcast详解及原理探究
qianfeng_dashuju的博客
09-23 766
一. Hazelcast 1. Hazelcast简介 Hazelcast 是由Hazelcast公司开发的一款开源的分布式内存级别的缓存数据库，可以为基于JVM环境运行的各种应用提供分布式集群和分布式缓存服务。 利用Hazelcast可以满足“分布式”、“集群服务”、“网格式内存数据”、“分布式缓存“、“弹性可伸缩服务”等的要求。 2. Hazelcast的应用 Hazelcast提供了对很多 Java 接口的分布式实现，如Map, Queue, ExecutorService, Lock以及
mysql 集群分片分区_MysqlCluster集群搭建(windows或linux系统环境下)
weixin_39888943的博客
02-18 380
MysqlClusterMysql cluster简介MySQL Cluster是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的集群。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求，适合于分布式计算环境的高实用、高冗余版本。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQL Cluster将标准的MySQL服务器与名为NDB的“内存中”集群式存储引擎集...
Mysql常见的集群方案
MrLee的博客
07-10 8711
1、是官方提供的主从同步方案，用于将一个 MySQL 的实例同步到另一个实例中，在主从复制中，从库利用主库上的 binlog 进行重播，实现主从同步，默认是异步同步，针对其在不同场景下的一些缺陷，衍生出了半同步复制，强同步复制等数据高可用的方案；2、组复制又称为 MGR,引入复制组主要是为了解决传统异步复制和半同步复制可能产生数据不一致的问题, MGR 由若干个节点共同组成一个复制组，一个事务的提交，必须经过组内大多数节点 (N / 2 + 1) 决议并通过，才能得以提交;3、
一文详解MySQL分区,分片,分库与分表
loseyourself94的博客
04-05 2124
一文详解MySQL分区,分片,分库与分表
MySQL的分片（二）——MySQL分片
热门推荐
马路上开飞机
10-18 1万+
前言 从开发人员的角度来说，为什么要了解和掌握MySQL分片？ 第一，了解MySQL分片可以更合理地定制分片策略，选分片字段是要讲科学的。 第二，了解MySQL分片以后如果出现故障报错，也有助于问题的排查。 第三，关系到开发过程中的代码调整，做分片后的MySQL数据库操作受到限制，比如join之类的操作，跨分片的操作，事务管理等，都是要注意的，可能需要代码的调整。 分区、分表、分片、分库...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值