mycat实现mysql水平分割,主从同步、读写分离(入门)

      呃呃呃,博主最近在学习下数据库的负载均衡,所以接触到了mycat框架,所以想写个文章来记录下当时的操作,也方便以后自己复习下(一遍就记住?不存在的,还是得多看多敲)

    --------------------------------------------------分割线来了-----------------------------------------------------------------

    事先准备和阅读注意事项:

                    准备2个mysql数据库(2台linux),一主一从:主服务器上有db1,db3,从服务器上有db1、db2

                    主DB server和从DB server数据库的版本一致

                    主DB server和从DB server数据库数据名称一致

                    主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一

                    博主采用的node++连接服务器来编写文件,采用SSH Secure连接

    一:安装mycat(只需安装到一台服务器上即可)

                1、jdk:要求jdk必须是1.7及以上版本

                2、Mysql:推荐mysql是5.5以上版本

                3、Mycat的官方网站:http://www.mycat.org.cn/

                下载地址:https://github.com/MyCATApache/Mycat-download

            开始安装啦:
                 1、把linux的mycat版本上传到linux,解压
                 2、进入mycat目录

                     

                3、启动mycat,进入bin目录 启动mycat:./mycat start  停止:./mycat stop

                    mycat 支持的命令{ console | start | stop | restart | status | dump }

                    Mycat的默认端口号为:8066,记得开放这个端口,不然连接不上

二、 Mycat的分片

        需求:一个商品表(tb_item)分成为三个节点存储(db1,db2,db3);其中db1 db3 在一个服务器上,db2在另外一台服务器上

        配置schema.xml(配置文件都在conf目录下)
            介绍:

                    Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置,是正确 使用MyCat的前提。这里就一层层对该文件进行解析。schema 标签用于定义MyCat实例中的逻辑库Table 标签定义了MyCat中的逻辑表dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句

        注意:

            若是LINUX版本的MYSQL,则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题。

        在MySQL的配置文件中/etc/my.cnf [mysqld] 中增加一行lower_case_table_names=1

  配置server.xml

    server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

<user name="test">  用来连接mycat 的用户名和密码,关联的数据库

    <property name="password">test</property>

    <property name="schemas">e3mall</property>

    <property name="readOnly">false</property>

</user>

配置rule.xml

rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule

和function。

此配置文件可以不用修改,此案例使用默认(按照id大小来分配)即可。

测试分片

    配置完毕后,重新启动mycat。使用mysql客户端连接mycat,创建表。

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。插入数据的时候按照id大小来测试即可

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为:

Datanode1:1~5000000

Datanode2:5000000~10000000

Datanode3:10000001~15000000





        

三 、Mycat读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置


Mycat读写分离和自动切换机制,需要mysql的主从复制机制配合。

Mysql主服务器配置

第一步:修改my.conf文件:(rpm方式安装的mysql没有my.conf文件,复制/usr/share/mysql/my-default.cnf到/etc下命名为my.cnf即可)

在[mysqld]段下添加:

binlog-do-db=db1

binlog-ignore-db=mysql

#启用二进制日志

log-bin=mysql-bin

#服务器唯一ID,一般取IP最后一段

server-id=134

第二步:重启mysql服务

service mysqld restart

第三步:建立帐户并授权slave

mysql>GRANT FILE ON *.* TO 'backup'@'%'IDENTIFIED BY '123456';

mysql>GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';

#一般不用root帐号,“%”表示所有客户端都可能连,只要帐号,密码正确,此处可用具体客户端IP代替,如192.168.145.226,加强安全。

刷新权限

mysql> FLUSH PRIVILEGES;

 查看mysql现在有哪些用户

mysql>select user,host from mysql.user;

第四步:查询master的状态

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB |Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 |      120 | db1          | mysql            |                   |

+------------------+----------+--------------+------------------+-------------------+

1 row in set

(标记的要留意,因为下面配置主从复制的时候需要在从服务器配置主服务器的地址,需要这个)


 Mysql从服务器配置

第一步:修改my.conf文件

[mysqld]

server-id=166

 

第二步:配置从服务器

mysql>change master to master_host='192.168.25.130',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=120

(192.168.25.130:改为你的主服务器的ip地址,master_user:您刚刚在主服务器上创建用来同步的账户,

master_log_file:刚刚上文标记的文本)

注意语句中间不要断开,master_port为mysql服务器端口号(无引号),master_user为执行同步操作的数据库账户,“120”无单引号(此处的120就是show master status 中看到的position的值,这里的mysql-bin.000001就是file对应的值)。

 

第二步:启动从服务器复制功能(我是在数据库可视化界面操作的)


第三步:检查从服务器复制功能状态:

show slave status

 

Slave_IO_Running: Yes //此状态必须YES

Slave_SQL_Running: Yes //此状态必须YES

 

注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误)。如下:

 

错误处理:

如果出现此错误:

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

因为是mysql是克隆的系统所以mysql的uuid是一样的,所以需要修改。

解决方法:

删除/var/lib/mysql/auto.cnf文件,重新启动服务。

 最后一步啦 Mycat配置(schema.xml)
(这里只配置localhost1是因为我要同步的数据库的表在这个节点上,所以没有配置localhost2)
解释:

(1)设置 balance="1"与writeType="0"

Balance参数设置:

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”,所有读操作都随机的发送到readHost。

3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置:

1.writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”,所有写操作都随机的发送到readHost。

3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。

 “readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据,因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了。基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2)设置 switchType="2"与slaveThreshold="100"

switchType 目前有三种选择:

-1:表示不自动切换

1 :默认值,自动切换

2 :基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ,dataHost 上定义两个新属性: switchType="2" 与slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running","Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。“

测试:读写分离测试的要写项目测试,所以这里就不测了,各位自测
    这里就测试下主从同步:在mycat的连接中插入id小于5000000的数据,然后再主服务器的db1能查看到,在从服务器也能看到(就成功啦),修改也会更新的。我还测试了下其他情况,如果在mycat连接中删除了该行数据,则主从服务器都会没有这条数据。但是如果只在从服务器删除,则主服务器的数据还在,就算修改主服务器的那行数据,从服务器也不会有这行数据。

从服务器的表也能看到这条数据


最最后,开发人员只需连接mycat进行开发即可
呃呃呃,好像入门完成了,理解有限,如有错误,麻烦各位指导出来,谢谢啦。(睡觉咯,早睡早起打代码)


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值