分库分表

最新推荐文章于 2024-08-16 09:52:33 发布
最新推荐文章于 2024-08-16 09:52:33 发布
阅读量305 收藏 2
点赞数
文章标签： 分库分表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fvdfsdafdsafs/article/details/89951346
版权

分库分表

  • 关系型数据库和NoSQL

    非关系型数据库： key-value： redis 、memcache ；

    面向文档： mongoDB

    面向列： HBase

    数据切分

    mycat

    TDDL

    Sharding-JDBC

    cobar

  1. 对于存储层的压力知道如何去提供解决方案和思路

  2. 对分库分表的常用手段有全面了解

  3. 了解Mysql的主从及binlog

  4. 知道Mycat及其他相似的中间件

为什么要分库分表

超大容量问题

  • 订单表数据量过大
    • 单表处理能力有瓶颈

性能问题

  • 单一数据库解决所有应用节点
    • 单一数据库有性能极限

如何去做到

垂直切分、 水平切分

  1. 垂直分库
    1. 解决的是表过多的问题
    2. 不同的表放在不同的库中
      1. 比如说订单相关的放在订单库中
  2. 垂直分表
    1. 解决单表列过多的问题
    2. 列多的表拆分成多个列少的表
      1. 比如说商 品表拆分
        1. 通过关联关系维持数据

水平切分

  • 大数据表拆成小表

常见的拆分策略

拆分如果全部放在一个库中，可能会有性能问题。

​ 可能把部分表放在不同的数据库中

拆分维度选择的数据非常重要

垂直拆分

​ er分片

水平拆分

  • 一致性hash

  • 范围切分

    • 可以按照ID

  • 日期拆分

拆分以后带来的问题

跨库join的问题

select a.x ,b.y from a,b on a.id=b.id

  1. 设计的时候考虑到应用层的join问题。

    1. 拆分的时候考虑好

  2. 在服务层去做调用

    A服务里查询到一个list

    直接通过接口查询

/**
	*批量查询不要这样使用
**/
for(list){
  bservice.select(list);
}

  1. 全局表

    1. 数据变更比较少的基于全局应用的表
    2. 或者抽离公共服务

  2. 做字段冗余（空间换时间的做法）

    ​ 订单表需要展示，商家id 商家名称（因为订单表和商家表是一对一的关系），那么查询的时候可能每一次都需要为了查询商家名称，可以做商家名称字段冗余

    ​ 商家名称变更解决办法

    1. 定时任务
    2. 任务通知

跨分片数据排序分页

​ 在应用层做拼接

唯一主键问题

​ 用自增id做主键,多表情况下自增id会重复

解决方案

  • UUID 性能比较低
    • 值比较长
    • 导致索引比较大
    • 性能比较低
  • snowflake （雪花算法）
    • 时间序列
    • 机器标志
    • 技术顺序号
    • 一起组成的完成id
  • mongoDB
    • ObjectId
  • zookeeper
    • 有序节点，从1开始递增
  • redis自增
    • incr
  • 数据库表
    • 专门一张表来获取id

分布式事务问题

​ 多个数据库表之间保证原子性

​ 性能问题； 互联网公司用强一致性分布式事务比较少,一般使用最终一致性，或者软事物来解决

​ 分库分表最难的在于业务的复杂度；

​ 前提： 水平分表的前提是已经存在大量的业务数据。而这个业务数据已经渗透到了各个应用节点

如何权衡当前公司的存储需要优化

1． 提前规划（主键问题解决、 join问题）

2． 当前数据单表超过1000W、每天的增长量持续上升

Mysql的主从

绝大部分都是写少读多的操作，可以做读写分离，多个读库做压力释放

读库可以实现负载均衡

image-20190505192959801

数据库的版本5.7版本

安装以后文件对应的目录

mysql的数据文件和二进制文件：/var/lib/mysql/

mysql的配置文件：/etc/my.cnf

mysql的日志文件：/var/log/mysql.log

6 为master

  1. 创建一个用户repl,并且允许其他服务器可以通过该用户远程访问master，通过该用户去读取二进制数据，实现数据同步
Create user repl identified by 'repl'；

repl用户必须具有REPLICATION SLAVE权限，除此之外其他权限都不需要

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' IDENTIFIED BY 'repl' ;

2.修改6 etc/my.cnf配置文件，在[mysqld] 下添加如下配置

log-bin=mysql-bin #启用二进制日志文件
server-id=6 #服务器唯一ID

3.重启数据库

 systemctl restart mysqld

4.登录到数据库，通过show master status 查看master的状态信息

118 为slave

  1. 修改118 my.cnf配置文件， 在[mysqld]下增加如下配置
server-id=118  #服务器id，唯一

relay-log=slave-relay-bin #中继日志，保存master同步过来的信息

relay-log-index=slave-relay-bin.index

read_only=1
  1. 重启数据库： systemctl restart mysqld
  2. 连接到数据库客户端，通过如下命令建立同步连接
change master to master_host='116.62.221.6', master_port=3306,master_user='repl',master_password='repl',master_log_file='mysql-bin.000003',master_log_pos=429;

​ master_log_pos 表示从主节点哪个位置开始读,

​ master_log_file这两个部分从master的show master status可以找到对应的值，不能随便写。

  1. 执行 start slave

  2. show slave status\G;

    1. 查看slave服务器状态，当如下两个线程状态为yes，表示主从复制配置成功

      Slave_IO_Running=Yes
Slave_SQL_Running=Yes

主从同步的原理

image-20190505204753810

  1. master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务

    1. slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志
    2. SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致

binlog： 用来记录mysql的数据更新或者潜在更新（update xxx where id=x effect row 0）;

文件内容存储：/var/lib/mysql

mysqlbinlog --base64-output=decode-rows -v mysql-bin.000001 查看binlog的内容

show binlog events in 'mysql-bin.000001'查看binlog的日志，不需要看内容

binlog的格式

查看当前日志模式

show variables like '%log%' -> binlog_format

statement ：

​ 基于sql语句的模式。update table set name =””; effect row 1000； uuid、now() other function

row： (默认)

​ 基于行模式; 存在1000条数据变更； 记录修改以后每一条记录变化的值

mixed:

​ 混合模式，由mysql自动判断处理

修改binlog_formater,通过在mysql客户端输入如下命令可以修改

set global binlog_format='row/mixed/statement';

或者在

​ vim /etc/my.cnf 的[mysqld]下增加binlog_format='mixed'

主从同步的延时问题

在这里插入图片描述
一主多从或者双主

网络延迟比较大

磁盘的读写

主从同步延迟是怎么产生的

  1. 当master库tps比较高的时候，产生的DDL数量超过slave一个sql线程所能承受的范围，或者slave的大型query语句产生锁等待

  2. 网络传输： bin文件的传输延迟

  3. 磁盘的读写耗时：文件通知更新、磁盘读取延迟、磁盘写入延迟

解决方案

  1. 在数据库和应用层增加缓存处理，优先从缓存中读取数据

    1. 从缓存中取，同步后然后再从slave中取

  2. 减少slave同步延迟，可以修改slave库sync_binlog属性；

    sync_binlog=0 设置为0执行ddl binlog不会立马刷新到文件中，而是通过文件系统调度刷新

    ​ 文件系统来调度把binlog_cache刷新到磁盘

​ sync_binlog=n等于n表示执行n个事物刷新

  1. 增加延时监控

    Nagios做网络监控

    mk-heartbeat心跳监控

    通过监控做报警

  2. Mysql的主从配置

  3. 了解binlog及主从复制原理

MyCat

简介

地址：http://www.mycat.io/

​ https://github.com/MyCATApache/Mycat-Server

​ 相当于代理

在这里插入图片描述

作用

  • 拦截sql
  • 分片
  • 路由
  • 缓存
  • 读写分离

查询如果是分片键那么直接落到对应数据库，如果不是分片键，那么会路由到所有数据库

haproxy负载均衡

keepalive 高可用

配置文件

rlue.xml

​ 分片数据库

在这里插入图片描述
image-20190508120117289

对应的rule分片策略

范围分片

在这里插入图片描述
这是范围分片，0-200M表示到分片5

schema.xml

​ 逻辑数据库逻辑表

server.xml

​ 配置当前服务

使用

单库大表拆分

在这里插入图片描述

跨库分表

在这里插入图片描述

读写分离

img

高可用

在这里插入图片描述

分库分表双主（数据双向同步）策略

在这里插入图片描述

  • 需要通过haProxy做一个集群
  • 再对haproxy做一个高可用

数据库分库分表

在互联网行业中，最大的特点是并发量高、数据量大；为了应对这两个特点，后端的技术架构需要使用各种技术来支撑；而这个专题所讲的是关于数据库层面的优化
当数据库的访问量到达一定的瓶颈的时候，当数据库单表数据比较大严重影响ddl性能的时候。我们应该根据什么思路去做优化和调整

  • 持久化存储在大型分布式架构下部分需要应对的问题
  • 如何去做分库分表
  • 拆分策略
  • 分库分表带来的问题及解决方案
  • 如何知道当前的系统需要做分库分表
  • Mysql的读写分离实战
  • Mysql主主复制以及基于keepalived实现双主高可用
  • 基于HAProxy实现
  • 主从同步延迟问题及解决方案
  • 认识Mycat及Mycat安装
  • Mycat数据切分实战
  • Mycat读写分离实战
  • Mycat分片策略
  • Mycat全局表配置

centos7安装mysql5.7操作步骤

下载mysql的repo源

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

安装源

rpm -ivh mysql57-community-release-el7-8.noarch.rpm

安装数据库

yum install mysql-server

启动数据库

systemctl start mysqld

登录到mysql

  1. 5.7版本默认对于root帐号有一个随机密码，可以通过 grep "password" /var/log/mysqld.log获得，root@localhost: 此处为随机密码

  2. 运行mysql -uroot -p 回车

  3. 粘贴随机密码

  4. 修改密码

  5. 重启

Open & Edit /etc/my.cnf or /etc/mysql/my.cnf, depending on your distro.
Add skip-grant-tablesunder [mysqld]
Restart Mysql

service mysqld restart

You should be able to login to mysql now using the below command mysql -u root -p
Run mysql>flush privileges;
Set new password by ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'root';
Go back to /etc/my.cnf and remove/comment skip-grant-tables
Restart Mysql

service mysqld restart

Now you will be able to login with the new password mysql -u root -p

操作

  1. 默认的随机密码是没办法直接对数据库做操作的，需要修改密码，然后，5.7版本用了validate_password密码加强插件，因此在修改密码的时候绝对不是 123456 能糊弄过去的。需要严格按照规范去设置密码
  2. 但是，如果想让密码简单点也可以，降低安全策略， 登录到mysql客户端执行如下两条命令
set global validate_password_length=1;

set global validate_password_policy=0;
  1. 这样就能设置简单的密码了，但是密码长度必须是大于等于4位

赋权操作

默认情况下其他服务器的客户端不能直接访问mysql服务端，需要对ip授权

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
黄金时代的架构之路
关注
数据库分库分表
03-28
数据库分库分表 数据库分库分表 数据库分库分表
shardingsphere 分库分表中文帮助文档
05-17
### Shardingsphere 分库分表知识点详解 #### 1. 概览 ##### 1.1 简介 Shardingsphere 是一个分布式数据库中间件项目，它由 Apache 软件基金会维护，旨在为应用程序提供透明的数据分片、读写分离、数据加密等能力...
数据库分库分表的介绍
最新发布
0
08-16 1305
概览 :: ShardingSphere (apache.org)ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。Sharding-JDBC是ShardingSphere的第一个产品，也是ShardingSphere的前身。
springboot jpa分库分表项目实现过程详解
08-25
Spring Boot JPA 分库分表项目实践详解 Spring Boot JPA 分库分表是当前互联网常见的两个场景，即大数据量和高并发的解决方案。分库分表可以减少数据库的负担，缩短查询时间。通常分为垂直拆分和水平拆分两种。垂直...
水平分库分表的关键步骤以及可能遇到的问题
01-29
在之前的文章中，我介绍了分库分表的几种表现形式和玩法，也重点介绍了垂直分库所带来的问题和解决方法。本篇中，我们将继续聊聊水平分库分表的一些技巧。 关系型数据库本身比较容易成为系统性能瓶颈，单机存储容量...
MyBatis实现Mysql数据库分库分表操作和总结（推荐）
08-29
MyBatis实现Mysql数据库分库分表操作和总结 MyBatis是一款流行的持久层框架，能够与Mysql数据库进行交互。在大规模的应用系统中，数据库的性能和可扩展性变得非常重要。为了解决这个问题，需要实现数据库的分库分表...
springmvc分库分表实际例子
03-27
在IT行业中，数据库扩展是解决高并发、大数据量场景下的常见策略，而“分库分表”正是其中一种有效的手段。本示例“springmvc分库分表实际例子”提供了一个基于SpringMVC实现的实战项目，旨在帮助开发者了解如何在...
分库分表的正确姿势，你GET到了么？
BruceLeeNumberOne的博客
09-17 1280
原文：https://mp.weixin.qq.com/s/rDQjUhUV-OsTY-jiwsYNSg?scene=25#wechat_redirect 每个优秀的程序员和架构师都应该掌握分库分表，这是我的观点。 移动互联网时代，海量的用户每天产生海量的数量，比如： 用户表 订单表 交易流水表 以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外...
分库分表（一）
just_for_that_moment的博客
07-29 477
分库分表（一）
Windows环境下Mycat分库分表配置指南
"mycat分库分表教程涉及在Windows环境下搭建基于MySQL的mycat分布式数据库管理系统，通过配置service.xml，rule.xml，schema.xml三个核心配置文件实现数据的均匀分布。教程中提到的拓扑结构包括两个表（users和item...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值