两台服务器之间mysql数据库怎么做同步_MySQL高可用

最新推荐文章于 2024-04-10 10:49:42 发布
最新推荐文章于 2024-04-10 10:49:42 发布
阅读量1.2k 收藏 1
点赞数
文章标签： 两台服务器之间mysql数据库怎么做同步

今天我们就来讲讲mysql高可用。

CentOS7 64位安装MySql

1. 先检查系统是否装有mysql

rpm -qa | grep mysql

2. 下载mysql的repo源

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

报错: -bash: wget: 未找到命令

安装插件 yum -y install wget

3. 安装mysql-community-release-el7-5.noarch.rpm包

sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

4. 安装MySQL

sudo yum install mysql-server

5. 重置MySQL密码

mysql -u root

报错：

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

原因：原因是/var/lib/mysql的访问权限问题。

chown root /var/lib/mysql/

6. 重启MySQL服务

service mysqld restart

7. 接着登陆设置密码

mysql -u root

use mysql;

update user set password=password('123456') where user='root';

exit;

接着继续重启MySQL服务

service mysqld restart

8. 接着设置Root账户远程连接密码

mysql -u root -p

GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "root";　

重启服务器 service mysqld restart

9. 使用外网工具连接MySQL

关闭防火墙

systemctl stop firewalld.service

MySQL主从复制配置

f3b3c4b62c0fe0e7c613a4eed58daeea.png

主从复制原理

MySQL的主从复制是MySQL本身自带的一个功能，不需要额外的第三方软件就可以实现，其复制功能并不是copy文件来实现的，而是借助binlog日志文件里面的SQL命令实现的主从复制，可以理解为我再Master端执行了一条SQL命令，那么在Salve端同样会执行一遍，从而达到主从复制的效果。

从库生成两个线程，一个I/O线程，一个SQL线程；

i/o线程去请求主库 的binlog，并将得到的binlog日志写到relay log(中继日志) 文件中；

主库会生成一个 log dump 线程，用来给从库 i/o线程传binlog；

SQL 线程，会读取relay log文件中的日志，并解析成具体操作，来实现主从的操作一致，而最终数据一致；

4d874f13200d47288443cf277f13f0b8.png

主服务器节点

162fdfc7d822e8c36b5d96d61196ac63.png

vi /etc/my.cnf 新增以下内容

server_id=177 ###服务器id

log-bin=mysql-bin ###开启日志文件

重启mysql服务 service mysqld restart

验证是否已经配置成功

show variables like '%server_id%';

能够查询对应配置文件中的server_id 说明已经配置成功

show master status;

能够看到同步的文件，和行数 说明已经配置成功。

从服务器节点

克隆服务器

vi /etc/my.cnf

server_id=178 ###从服务器server_id

log-bin=mysql-bin ###日志文件同步方式

binlog_do_db=test ###同步数据库

重启mysql服务 service mysqld restart

验证是否已经配置成功

show variables like '%server_id%';

能够查询对应配置文件中的server_id 说明已经配置成功

从服务器同步主服务器配置

change master to master_host='192.168.212.200',master_user='root',master_password='root',

master_log_file='mysql-bin.000002',master_log_pos=216;

开始同步

start slave

检查从服务器复制功能状态

SHOW SLAVE STATUS

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

解决办法

因为服务器克隆的时候交UUID产生了重复 ，解决办法

cat /etc/my.cnf

cd /var/lib/mysql

rm -rf auto.cnf

重启服务器即可

service mysqld restart

MyCat实现读写分离

什么是MyCat

MyCAT是一款由阿里Cobar演变而来的用于支持数据库，读写分离、分表分库的分布式中间件。MyCAT支持Oracle、MSSQL、MYSQL、PG、DB2关系型数据库，同时也支持MongoDB等非关系型数据库。

MyCAT原理MyCAT主要是通过对SQL的拦截，然后经过一定规则的分片解析、路由分析、读写分离分析、缓存分析等，然后将SQL发给后端真实的数据块，并将返回的结果做适当处理返回给客户端。

官方网站:http://www.mycat.io/

Linux环境安装MyCat实现读写分离

1、上传安装Mycat-server-1.6.5-release-20180122220033-linux.tar

2、解压安装包tar –zxvf

3、配置schema.xml 和server.xml

4、客户端连接端口号: 8066

配置文件介绍:

文件

说明: server.xml Mycat的配置文件，设置账号、参数等

schema.xml Mycat对应的物理数据库和数据库表的配置

rule.xmlMycat分片(分库分表)规则

Linux环境安装MyCat实现读写分离

1、进入bin目录

启动MyCat ./mycat start

停止MyCat ./mycat stop

2、查看/usr/local/mycat/logs wrapper.log日志 如果是为successfully 则启动成功

关闭防火墙:systemctl stop firewalld.service

只可读的账号 user user 端口号8066

可读可写的账号 root 123456 端口号8066

SpringBoot项目整合动态数据源(读写分离)

1.配置多个数据源，根据业务需求访问不同的数据，指定对应的策略：增加，删除，修改操作访问对应数据，查询访问对应数据，不同数据库做好的数据一致性的处理。由于此方法相对易懂，简单，不做过多介绍。

2. 动态切换数据源，根据配置的文件，业务动态切换访问的数据库:此方案通过Spring的AOP，AspactJ来实现动态织入，通过编程继承实现Spring中的AbstractRoutingDataSource,来实现数据库访问的动态切换，不仅可以方便扩展，不影响现有程序，而且对于此功能的增删也比较容易。

3. 通过mycat来实现读写分离:使用mycat提供的读写分离功能，mycat连接多个数据库，数据源只需要连接mycat，对于开发人员而言他还是连接了一个数据库(实际是mysql的mycat中间件)，而且也不需要根据不同 业务来选择不同的库，这样就不会有多余的代码产生。

动态数据源核心配置

在Spring 2.0.1中引入了AbstractRoutingDataSource, 该类充当了DataSource的路由中介, 能有在运行时, 根据某种key值来动态切换到真正的DataSource上。

1.项目中需要集成多个数据源分别为读和写的数据源，绑定不同的key。

2.采用AOP技术进行拦截业务逻辑层方法，判断方法的前缀是否需要写或者读的操作

3.如果方法的前缀是写的操作的时候，直接切换为写的数据源，反之切换为读的数据源

也可以自己定义注解进行封装

动态数据源与多数数据源区别

多数据源---以分包形式

动态数据在jvm进行不断地进行切换

数据库集群如何考虑数据库自增唯一性

在数据库集群环境下，默认自增方式存在问题，因为都是从1开始自增，可能会存在重复，应该设置每台节点自增步长不同。

查询自增的步长

SHOW VARIABLES LIKE 'auto_inc%'

修改自增的步长

SET @@auto_increment_increment=10;

修改起始值

SET @@auto_increment_offset=5;

假设有两台mysql数据库服务器

节点①自增 1 3 5 7 9 11 ….

节点②自增 2 4 6 8 10 12 ….

注意:在最开始设置好了每台节点自增方式步长后，确定好了mysql集群数量后，无法扩展新的mysql，不然生成步长的规则可能会发生变化。

数据库分表分库策略

数据库分表分库原则遵循 垂直拆分与水平拆分

垂直拆分就是根据不同的业务，分为不同的数据库，比如会员数据库、订单数据库、支付数据库等，垂直拆分在大型电商系统中用的非常常见。

优点：

拆分后业务清晰，拆分规则明确，系统之间整合或扩展容易。

缺点：

部分业务表无法join，只能通过接口方式解决，提高了系统复杂度存在分布式事务问题。

垂直拆分:把不同的表拆到不同的数据库中，而水平拆分是把同一个表拆到不同的数据库中。

相对于垂直拆分，水平拆分不是将表的数据做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中 的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，主要有分表，分库两种模式

该方式提高了系统的稳定性跟负载能力，但是跨库join性能较差。

使用MyCat实现水平分片策略

MyCat支持10种分片策略

1、求模算法

2、分片枚举

3、范围约定

4、日期指定

5、固定分片hash算法

6、通配取模

7、ASCII码求模通配

8、编程指定

9、字符串拆分hash解析

详细:http://www.mycat.io/document/mycat-definitive-guide.pdf

使用MyCat实现水平分片策略

分片枚举这种规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国的省份区县固定的，这类业务使用这一规则。配置如下

1.案例步骤：

创建数据库userdb_1 、 userdb_2、userdb_3

2.修改partition-hash-int.txt 规则

wuhan=0

shanghai=1

suzhou=2

根据地区进行分库 湖北数据库、江苏数据库 山东数据库

使用MyCat分表分库原理分析

1.Mycat中的路由结果是通过分片字段和分片方法来确定的,如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片

2.如果查询没有分片的字段，会向所有的db都会查询一遍，让后封装结果级给客户端。

修改/usr/local/mycat/conf/log4j2.xml日志级别为debug

Sharding-Jdbc

Sharding-Jdbc在3.0后改名为Shardingsphere它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

Sharding-Sphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它通过关注不变，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。

应用场景:

数据库读写分离

数据库分表分库

相关资料:

Sharding-Jdbc官方网址: http://shardingsphere.io/index_zh.html

改名新闻: https://www.oschina.net/news/95889/sharding-jdbc-change-to-sphere

Sharding-Jdbc与MyCat区别

MyCat是一个基于第三方应用中间件数据库代理框架，客户端所有的jdbc请求都必须要先交给MyCat，再有MyCat转发到具体的真实服务器中。

Sharding-Jdbc是一个Jar形式，在本地应用层重写Jdbc原生的方法，实现数据库分片形式。

MyCat属于服务器端数据库中间件，而Sharding-Jdbc是一个本地数据库中间件框架。

从设计理念上看确实有一定的相似性。主要流程都是SQL 解析 -> SQL 路由 -> SQL 改写 -> SQL 执行 -> 结果归并。但架构设计上是不同的。Mycat 是基于 Proxy，它复写了 MySQL 协议，将 Mycat Server 伪装成一个 MySQL 数据库，而 Sharding-JDBC 是基于 JDBC 的扩展，是以 jar 包的形式提供轻量级服务的。

Sharding-Jdbc实现读写分离

Sharding-Jdbc实现读写分离原理，非常容易。只需要在项目中集成主和从的数据源,Sharding-Jdbc自动根据DML和DQL 语句类型连接主或者从数据源。

注意： Sharding-Jdbc只是实现连接主或者从数据源，不会实现主从复制功能，需要自己配置数据库自带主从复制方式。

查看MasterSlaveDataSource即可查看该类getDataSource方法获取当前数据源名称

DML：数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE 子句组成的查询块： SELECT FROM WHERE

DQL：数据操纵语言DML主要有三种形式： 1) 插入：INSERT 2) 更新：UPDATE 3) 删除：DELETE

Sharding-Jdbc分表分库

LogicTable

数据分片的逻辑表，对于水平拆分的数据库(表)，同一类表的总称。

订单信息表拆分为2张表,分别是t_order_0、t_order_1，他们的逻辑表名为t_order。

ActualTable

在分片的数据库中真实存在的物理表。即上个示例中的t_order_0、t_order_1。

DataNode

数据分片的最小单元。由数据源名称和数据表组成，例：test_msg0.t_order_0。配置时默认各个分片数据库的表结构均相同，直接配置逻辑表和真实表对应关系即可。

ShardingColumn

分片字段。用于将数据库(表)水平拆分的关键字段。SQL中如果无分片字段，将执行全路由，性能较差。Sharding-JDBC支持多分片字段。

ShardingAlgorithm

分片算法。Sharding-JDBC通过分片算法将数据分片，支持通过等号、BETWEEN和IN分片。分片算法目前需要业务方开发者自行实现，可实现的灵活度非常高。未来Sharding-JDBC也将会实现常用分片算法，如range，hash和tag等。

SpringBoot整合Sharding-Jdbc分为两种方式

一种为原生配置方式，自己需要实现接口。

1.分库算法类需要实现SingleKeyDatabaseShardingAlgorithm接口

2.分表算法类需要实现SingleKeyTableShardingAlgorithm接口

第二种通过配置文件形式配置。

案例比如：t_order 拆分程t_order_0 t_order _1

Sharding-Jdbc日志分析与原理图

Sharding-JDBC中的路由结果是通过分片字段和分片方法来确定的,如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片

如果查询没有分片的字段，会向所有的db或者是表都会查询一遍，让后封装结果级给客户端。

Sharding-Jdbc和MyCat查询原理大致相同

3cd9a2bf791a06cb2d26f1ce00b0bd82.png

深入mysql原理

数据结构Hash算法

哈希表(Hash table，也叫散列表)，是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。

优点:查找可以直接根据key访问

缺点: 不能进行范围查找

index=Hash(key)

数据结构平衡二叉树算法

平衡二叉查找树，又称 AVL树。 它除了具备二叉查找树的基本特征之外，还具有一个非常重要的特点：它 的左子树和右子树都是平衡二叉树，且左子树和右子树的深度之差的绝对值(平衡因子 ) 不超过1。 也就是说AVL树每个节点的平衡因子只可能是-1、0和1(左子树高度减去右子树高度)。

bbc8ba3a90a64def3607674022faa59d.png

优点:平衡二叉树算法基本与二叉树查询相同，效率比较高

缺点:插入操作需要旋转，支持范围查询

数据结构B树

维基百科对B树的定义为“在计算机科学中，B树(B-tree)是一种树状数据结构，它能够存储数据、对其进行排序并允许以O(log n)的时间复杂度运行进行查找、顺序读取、插入和删除的数据结构。B树，概括来说是一个节点可以拥有多于2个子节点的二叉查找树。与自平衡二叉查找树不同，B-树为系统最优化大块数据的读和写操作。B-tree算法减少定位记录时所经历的中间过程，从而加快存取速度。普遍运用在数据库和文件系统。”

cb8b72537621e64763c83338ebc97289.png

因为B树节点元素比平衡二叉树要多，所以B树数据结构相比平衡二叉树数据结构实现减少磁盘IO的操作。

数据结构B+树

B+树相比B树，新增叶子节点与非叶子节点关系，叶子节点中包含了key和value，非叶子节点中只是包含了key，不包含value。

66f2cf559eb38f1f00eb51a9bbf96541.png

所有相邻的叶子节点包含非叶子节点，使用链表进行结合，有一定顺序排序，从而范围查询效率非常高。

MySQLb+树能够存放多少字节数据

假设在B+树一个节点为1页

如果从磁盘读取超过1页大小，根据局部性原理与磁盘预读 会读出2页大小如果从磁盘读取小于1页大小，根据局部性原理与磁盘预读 会读出1页大小

根据以上规则，如果读取整哈是页的倍数，这样就可以不用浪费，所以B+树的每一个节点是页的倍数是最佳的。

在MySQL中我们的InnoDB页的大小默认是16k，当然也可以通过参数设置：

show variables like 'innodb_page_size';

16384/1024=16kb;

MySQLb+树能够存放多少字节数据

假设一行为1kb，那么一页可以读取16行数据，一个叶子节点可以存放16条数据

那么非叶子节点存放多少条数据？非叶子节点存放索引值(bigint 8b)和指针(6b)

那么一页16*1024/(8+6)=1170指针

B+树 高度为2 1170*16=18720 条数据

B+树 高度为3 1170*1170*16=21902400 条数据

所以在InnoDB中B+树高度一般为1-3层，它就能满足千万级的数据存储。在查找数据时一次页的查找代表一次IO，所以通过主键索引查询通常只需要1-3次IO操作即可查找到数据。

磁盘IO性质

CPU←内存←磁盘(I/O)

1次:从磁盘读取4到内存中，判断10>4 ,取右指针

2次:从磁盘读到8到内存中，判断10>8,取右指针

3次:从磁盘读到9到内存中，判断10>9,取右指针

4次:从磁盘读到10到内存中，判断10=10,定位到数据

索引文件如何查看

默认数据与索引文件位置: /var/lib/mysql

MyISAM引擎的文件：

.myd 即 my data，表数据文件

.myi 即my index，索引文件

.log 日志文件。

InnoDB引擎的文件：

采用表空间(tablespace)来管理数据，存储表数据和索引，

InnoDB数据库文件(即InnoDB文件集，ib-file set)：

ibdata1、ibdata2等：系统表空间文件，存储InnoDB系统信息和用户数据库表数据和索引，所有表共用。

.ibd文件：单表表空间文件，每个表使用一个表空间文件(file per table)，存放用户数据库表数据和索引。

数据结构模拟工具

官网首页:https://www.cs.usfca.edu/~galles/visualization/Algorithms.html

Avl数据结构https://www.cs.usfca.edu/~galles/visualization/AVLtree.html

MyISAM和InnoDB对B-Tree索引不同的实现方式

主键索引： MyISAM引擎使用B+Tree作为索引结构，叶节点的data域存放的是数据记录的地址。下图是MyISAM主键索引的

这里设表一共有三列，假设我们以Col1为主键，图myisam1是一个MyISAM表的主索引(Primary key)示意。可以看出

74b6f71279880bc0f67662f7adfc6f35.png

MySQL数据库优化方案

Mysql的优化，大体可以分为三部分：索引的优化，sql慢查询的优化，表的优化

c71392bab87fb448db33b41caceb9ede.png

MySQL数据库优化方案

开启慢查询日志，可以让MySQL记录下查询超过指定时间的语句，通过定位分析性能的瓶颈，才能更好的优化数据库系统的性能。

先捕获低效SQL→慢查询优化方案→慢查询优化原则

8652e2d93ea25c73384bb938299a9a45.png

索引为什么会失效？注意那些事项？

1.索引无法存储null值

2.如果条件中有or，即使其中有条件带索引也不会使用(这也是为什么尽量少用or的原因)

要想使用or，又想让索引生效，只能将or条件中的每个列都加上索引

3.对于多列索引，不是使用的第一部分，则不会使用索引

4.like查询以%开头

5.如果列类型是字符串，那一定要在条件中将数据使用引号引用起来,否则不使用索引

6.如果mysql估计使用全表扫描要比使用索引快,则不使用索引

联合索引为什么需要遵循左前缀原则？

如果在一张表中，存在联合索引的话，在根据条件查询的时候必须要加上第一个索引条件。

EXPLAIN select * from user_details WHERE id=1 and user_name=‘yushengjun1’;---索引生效

EXPLAIN select * from user_details WHERE user_name=‘yushengjun1’; 索引是不生效的

因为索引底层采用B+树叶子节点顺序排列，必须通过左前缀索引才能定位到具体的节点范围。

(1,yushengjun1 1,yushengjun2),(2,yushengjun1 2,yushengjun2),(3,yushengjun1 3,yushengjun2)

表分库为什么能够提高数据库查询效率？

分表分库为什么提高查询的效率？因为会将一张表的数据拆分成多个n张表进行存放，让后在使用第三方中间件(MyCat或者Sharding-JDBC)并行同时查询，让后在交给第三方中间进行组合返回给客户端。

fa16d453507eff0ba57b1cc1a0c0632d.png

谢谢大家的支持和关注，喜欢记得点赞转发。

weixin_39599705
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQL数据同步
hello simon
08-02 1477
MySQL数据同步主要有三种方式: 1.利用MySQL自身的数据库同步功能 2.利用MySQL数据库的特性(数据库存在固顶目录,并且以文件形式存储),进行数据库目录同步以达到数据同步目的 3.利用专用的MySQL数据库同步软件 1.利用MySQL自身的数据库同步功能(下面参考自网上的文章,写的非常详细了) MySQL从3.23.15版本以后提供数据库复制功能。利用该功能可以实现两个数据库同步，主从
服务器之间共享数据的方法
Lee_queenie的博客
03-10 1512
服务器之间共享数据的方法
MySQL 主备同步设置
sszdzq的博客
04-10 543
数据库主备同步，将mysqlA 中的数据同步mysqlB 中，mysqlA 作为主库，mysqlB作为备库。
oracle分库分表
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
06-21 3789
oracle 如何进行分库分表呢？1.引入POM 2. yaml 配置 3. DDL 4. 准备测试对象 5. 测试 2.yaml 配置 sharding: jdbc: datasource: names: ds0 # 数据源ds0 ds0: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: oracle.jdbc.driver.OracleDriver url: jdbc:oracle:thin:@localhost:1521:
两台服务器Mysql主-主热备部署
春桑的博客
09-02 1631
两台服务器Mysql主-主热备部署 一般情况下，两台服务器Mysql数据库信息应该保持一致，这就需要保证修改任意一台服务数据库信息，俩边的信息都需要变动，因此下边为数据库主主热备（即两台服务器数据库都做主机看待） 举例说明（A服务器:192.168.200.101，用户名:test1，密码:123456 B服务器:192.168.200.102，用户名:test2，密码:123456） 1.保证两台数据库能够互相访问 在内网中保证两台服务器分别能访问对方的数据库信息： A服务器上设置B数据库权限： gran
两台服务器之间mysql数据库怎么做同步_公司有一台很重要SQL数据库，如何实现数据库实时同步？...
weixin_39775896的博客
11-20 922
一、客户需求客户现在有一个需求，公司有一台很重要SQL数据库，怕有一天服务器或者系统崩溃，导致所有SQL数据库数据丢失，客户想把数据库数据，通过某种方式将数库进行实时同步到另外一台服务器上，这样可以做个backup。那客户这个需求如何实现呢？二、解决方案：通过分析与研究，使用的是SQL自带的发布与订阅功能，旧的SQL Server版本是2008，新安装一个SQL Server 2014版...
Oracle分库分表分区学习日志.docx
08-22
对于Oracle自己的一点学习笔记记录。主要是对于Oracle分表分库分区的学习和理解
阿里云服务器手动实现mysql双机热备的两种方式
12-16
　双机热备从广义上讲，就是对于重要的服务，使用两台服务器，互相备份，共同执行同一服务。当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。...
高可用数据库架构设计.docx
11-27
另一方面，可以通过负载均衡将请求分散到两台服务器上，提高系统的整体吞吐量。对于异地热备，这种策略在灾难恢复方面尤为有效。 MySQL的复制功能是其实现高可用性的核心。复制过程中，主服务器将数据更改写入二...
mysql主从架构及分库分表详解1
08-03
MySQL主从架构是一种常见的数据库高可用性和负载均衡解决方案，它通过数据复制技术使得一台服务器（主服务器）的数据能够实时同步到另一台或多台服务器（从服务器）。这种架构提供了以下主要优势： 1. 故障切换：当...
实战体验几种MysqlCluster 方案.docx
01-15
* Fabric 支持实现高可用性的架构图如下：Fabric 使用 HA 组实现高可用性，其中一台是主服务器，其他是备份服务器， 备份服务器通过同步复制实现数据冗余。 * 应用程序使用特定的驱动，连接到 Fabric 的 Connector ...
linux下mysql amoeba读写分离配置
06-01
在Linux环境下，MySQL数据库的读写分离和数据同步是提高数据库性能和可用性的关键策略。MySQL的主从复制（Master-Slave Replication）和读写分离（Read-Write Separation）是实现这一目标的常用方法。这里我们将探讨...
千万级数据，如何做性能优化？分库分表、Oracle分区表？
学Java，找哪吒
01-30 5556
通过分表分区技术，解决Oracle千万级数据性能问题
mysql并发量最大多少_软件架构-解密电商系统--订单量亿级数据处理方案，分库分表...
weixin_39995280的博客
11-23 289
订单相关表都已经是超大表，最大表的数据量已经是几十亿，数据库处理能力已经到了极限；单库包含多个超大表，占用的硬盘空间已经接近了服务器的硬盘极限，很快将无空间可用；过度解决：我们可以考虑到最直接的方式是增加大容量硬盘，或者对IO有更高要求，还可以考虑增加SSD硬盘来解决容量的问题。此方法无法解决单表数据量问题。可以对数据表历史数据进行归档，但也需要频繁进行归档操作，而且不能解决性能问题硬件上(大小)...
sqlserver 分表_题库分库分表架构方案
weixin_39625172的博客
11-24 795
方案项目背景在现在题库架构下，针对新购买的1300W多道数据进行整合，不影响现有功能。由于数据量偏多，需要进行数据的切分目标场景兼容旧的功能对1300多W数据进行分库分表需要对旧的数据进行整合老师端选题组卷 可以根据 学段、学科、知识点、难度、题型 来筛选学生端根据老师端所选题目获取对应的题目对3年内以后扩展的增量数据预留数量空间数据样例学段数据量小学1285336初中6655780高中61440...
Mysql5.7 实现两台服务器互相备份同步 （主主互备）
my_batis的博客
03-28 4161
两台主机地址分别为： ServA：192.168.109.180 ServB：192.168.109.87 1.测试数据库端口是否通着 telnet 192.168.109.180 3306 出现以上信息 表示可以访问通 出现 Connection refused 需要 查看防火墙端口3306是否放开；查看my.cnf 文件中 bind-address= 127.0.0.1 有没有把它注释掉 my.cnf 文件 再MySQL安装目录下； 1.1 配置同步账号 在ServA上增加一个ServB可以登
如何解决springboot整合spark日志打印级别问题？
SmallSunL的博客
04-19 661
一、由于项目中使用到了springboot框架，会导致springboot中的slf4j和spark中的log4j日志组件冲突，springboot推荐使用slf4j+logback的模式来记录日志，logback比log4j更快的实现、更完善的配置，因此： 1、pom文件中去除依赖了log4j的jar包。这一步不做也可以但是会导致，slf4j同时logback和log4j，产生冲突。 <...
Mycat (一) —— 数据库优化和分库分表
zhouhuahao的博客
03-29 322
一.数据库优化方案 当数据库遇到瓶颈，比如高并发情况下连接数不够；数据量太大；因存储问题，数据库所在机器性能下降。就需要进行优化： 1.SQL与索引：检查自己的慢SQL,进行优化，用到索引 2.表和存储引擎：优化表设计，对于字段类型和长度的选择，看表结构是否需要拆分或合并，不同的表需要选择什么存储引擎，是不是需要分区等 3.架构：（1）数据是在磁盘存储，如果加了索引还是很慢，可以部署缓存服务器，把数据在内存里缓存起来。 （2）如果...
excel_check.py
最新发布
06-24
excel_check.py
本地两个 mysql数据库_实现两个MySQL数据库之间的主从同步
05-31
要实现两个 MySQL 数据库之间的主从同步，需要进行以下步骤： 1. 在主数据库上开启二进制日志功能，即在主数据库配置文件 my.cnf 中添加以下配置： ``` log-bin=mysql-bin server-id=1 ``` 其中，log-bin 表示启用二进制日志，mysql-bin 是二进制日志文件的前缀，可以自定义。server-id 表示主数据库的唯一标识，可以设置为任意整数。 2. 在从数据库上配置主从复制，即在从数据库配置文件 my.cnf 中添加以下配置： ``` server-id=2 relay-log=mysql-relay-bin relay-log-index=mysql-relay-bin.index ``` 其中，server-id 表示从数据库的唯一标识，与主数据库不同即可。relay-log 和 relay-log-index 表示从数据库中继日志文件的前缀和索引文件名，可以自定义。 3. 在主数据库上创建用于复制的账号，并授权给从数据库，如下所示： ``` CREATE USER 'repl'@'%' IDENTIFIED BY 'password'; GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%'; ``` 其中，repl 是用于复制的账号，% 表示允许任意 IP 地址连接，password 是该账号的密码。GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' 表示授予该账号复制权限。 4. 在从数据库上启动主从复制，执行以下命令： ``` CHANGE MASTER TO MASTER_HOST='master_host', MASTER_PORT=3306, MASTER_USER='repl', MASTER_PASSWORD='password', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=4; START SLAVE; ``` 其中，MASTER_HOST 表示主数据库的 IP 地址，MASTER_PORT 表示主数据库的端口号，MASTER_USER 和 MASTER_PASSWORD 分别表示用于复制的账号和密码。MASTER_LOG_FILE 和 MASTER_LOG_POS 分别表示主数据库当前二进制日志文件名和位置，可以通过 SHOW MASTER STATUS 命令查看。 执行完以上步骤后，从数据库就可以实现主从同步了。需要注意的是，如果主数据库的数据发生了变化，需要在从数据库上重新执行 CHANGE MASTER TO 和 START SLAVE 命令，以更新复制信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值