安装Centos7 、 Mysql8 集群，实现读写分离高可用（五+）-- MyCat调试过程踩的坑和收获

最新推荐文章于 2021-10-14 23:35:29 发布

darkdragonking

最新推荐文章于 2021-10-14 23:35:29 发布

阅读量851

点赞数 1

本文链接：https://blog.csdn.net/darkdragonking/article/details/80706465

版权

零、无语的开始

最大的一个坑就是MySQL8的默认字符集，我采用的应该是默认的UTF8mb4而非UTF8，所以一直不成功

查了些资料，UTF8mb4专门用来兼容4字节的Unicode。同时这家伙与传统的UTF8有出入，所以以后尽量别用

一、开始踩坑

1、jdk问题

STATUS | wrapper  | 2018/06/05 11:33:29 | --> Wrapper Started as Daemon
STATUS | wrapper  | 2018/06/05 11:33:29 | Launching a JVM...
INFO   | jvm 1    | 2018/06/05 11:33:29 | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
INFO   | jvm 1    | 2018/06/05 11:33:55 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
INFO   | jvm 1    | 2018/06/05 11:33:55 |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
INFO   | jvm 1    | 2018/06/05 11:33:55 | 
ERROR  | wrapper  | 2018/06/05 11:33:58 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2018/06/05 11:33:58 | JVM did not exit on request, terminated
INFO   | wrapper  | 2018/06/05 11:33:58 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2018/06/05 11:33:59 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2018/06/05 11:34:03 | Launching a JVM...
INFO   | jvm 2    | 2018/06/05 11:34:03 | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0

先说最终解决方案，我最后没继续使用jdk1.8，换成了1.7这个告警消失了，最后等全部可用之后，再换回jdk1.8就完全没问题

解决：貌似什么东西在jdk8的时候被移除了，所以我首先考虑的是修改启动参数这些东西

1.1：参考这个帖子 https://blog.csdn.net/qq525099302/article/details/78396120

修改JAVA_OPTS="-server -Xms2G -Xmx2G -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=512M -XX:+AggressiveOpts -XX:MaxDirectMemorySize=2G"

1.2：然后参考这个帖子，考虑主机名问题 https://yq.aliyun.com/articles/507300

修改包括/etc/hosts和/etc/sysconfig/network中都修改了，依然不行，修改后结果如下图

但是依然不行。考虑是否有什么脚本没有修改的？

于是把/usr/local/mycat/bin下的所有启动脚本都修改了和jvm相关的参数。不行。。。

然后，将jdk1.8改为1.7 。。。问题过了

2、试错5次的错误wrapper.conf（报错信息已丢失）

开始以为是哪里配置有问题，最后参考了一个帖子，

在/usr/local/mycat/conf下的wrapper.conf中任意位置添加两个参数即可

wrapper.startup.timeout=300
wrapper.ping.timeout=120

3、配置文件编码格式

如果你是在本地编写修改后上传到服务器，请务必保证你的编码格式是UTF-8，否则会有异常

4、mycat登录账号

我们会在server.xml中配置用户和账号密码

而这些账号与密码是用来登录mycat的，与你真实的MySQL数据库没有毛线的关系

所以不需与你的数据库中的账号保持一致

5、命令行登录MySQL

我在不能成功运行mycat的时候，考虑是否问题出在MySQL端，因此我尝试了多种登录MySQL的方法

最多的是用命令行的方式登录MySQL，比如大家常用的一个方法就是

mysql -uroot -p123456 -h192.168.122.21 -P3306

但是我发现貌似不加端口也能登录，随便写端口也能登录

后来一总结，貌似是由于我使用了root账号登录Centos操作系统的原因。

当你加了-h参数后，相当于登录远程的MySQL服务器，

但是前提，需要你的用户账号在远程服务器上有相应的权限"%"

6、一主机双IP和连接过多

INFO   | jvm 1    | 2018/06/07 14:56:00 | 2018-06-07 14:56:00,382 [INFO ][Timer1] no ilde connection in pool,create new connection for hostM1 of schema lwtest  (io.mycat.backend.datasource.PhysicalDatasource:PhysicalDatasource.java:413) 
INFO   | jvm 1    | 2018/06/07 14:56:00 | 2018-06-07 14:56:00,388 [WARN ][$_NIOREACTOR-0-RW] can't connect to mysql server ,errmsg:Host '192.168.122.14' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' MySQLConnection [id=392, lastTime=1528354560378, user=root, schema=xxx, old shema=xxx, borrowed=false, fromSlaveDB=false, threadId=0, charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.122.21, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]  (io.mycat.backend.mysql.nio.MySQLConnectionAuthenticator:MySQLConnectionAuthenticator.java:91) 
INFO   | jvm 1    | 2018/06/07 14:56:00 | 2018-06-07 14:56:00,388 [INFO ][$_NIOREACTOR-0-RW] can't get connection for sql :select user()  (io.mycat.sqlengine.SQLJob:SQLJob.java:114)

看到这个报错，觉得很奇怪，从哪儿来了个192.168.122.14呢？

我明明定义的是192.168.122.21~23的。

修改ifconfig的ip，ifconfig ens33 192.168.122.21/24 up通过左侧的命令实现，

同时需要修改vi /etc/sysconfig/network-scripts/ifcfg-ens33下面的BOOTPROTO="none"

最后重启服务 systemctl restart network即可生效。

然后还是上面的那个报错，其中有一句说的是“unblock with mysqladmin flush-host”

意思是说，有阻塞连接的线程存在，需要清理，清理方式如下

mysqladmin -uroot -p flush-hosts。然后输入密码，如果没有其他提示信息说明成功

注意，在这里不可以将密码以明文方式写在-p后面

执行完这个之后，“unblock with mysqladmin flush-host”告警消失

7、大小写敏感问题

我曾经有一度怀疑是否我的大小写敏感没有设置，

所以我的配置文件中（server.xml）的TESTDB的大写不被识别？

但是我直接在已经被使用的MySQL数据库中修改大小写，会造成无法启动MySQL的情况

（Job for mysqld.service failed because the control process exited with error code）

因为lower_case_table_names=1时，会先把表名转为小写后再操作，

而文件中根本不存在小写的表名文件，因此出错。

解决方法：

如果要将lower_case_table_names从0修改为1时，应先对旧数据表的表名进行处理，

把所有数据库的表名先改为小写，最后再设置lower_case_table_names为1，

否则会出现上述的问题。

不过，据说区分大小写才是正确的，不区分大小写是不对的，因此我就没有继续修改这个

然后后面论证发现，这部分不是重点

https://blog.csdn.net/qq_34332010/article/details/74106747 这一篇可以拿来借鉴一下

8、端口问题

也曾经考虑，是否我的端口没有在iptables中打开，

造成不能使用navicat和MySQL的命令行访问mycat？

然后在iptables中打开了8066和9066的端口，但是依然不能使用上面两个方法连接mycat

我一直在这里纠结了好久，考虑是否哪里有什么细节写的不对？

其实都不是，这里配的没问题，主要这里不是重点

9、莫名IP的问题

日志中会一直出一个叫“192168.122.1”的ip，我没有哪台机子的ip是这个啊

INFO   | jvm 1    | 2018/06/08 13:56:34 | 2018-06-08 13:56:34,920 [INFO ][$_NIOREACTOR-1-RW] ServerConnection [id=11, schema=null, host=192.168.122.1, user=root,txIsolation=3, autocommit=true, schema=null]'root' login success  (io.mycat.net.handler.FrontendAuthenticator:FrontendAuthenticator.java:194) 
INFO   | jvm 1    | 2018/06/08 13:56:34 | 2018-06-08 13:56:34,922 [INFO ][$_NIOREACTOR-1-RW] init backend myqsl source ,create connections total 10 for hostM1 index :0  (io.mycat.backend.datasource.PhysicalDBPool:PhysicalDBPool.java:294) 
INFO   | jvm 1    | 2018/06/08 13:56:34 | 2018-06-08 13:56:34,922 [INFO ][$_NIOREACTOR-1-RW] no ilde connection in pool,create new connection for hostM1 of schema xxx  (io.mycat.backend.datasource.PhysicalDatasource:PhysicalDatasource.java:413) 
INFO   | jvm 1    | 2018/06/08 13:57:18 | 2018-06-08 13:57:18,484 [INFO ][Timer1] no ilde connection in pool,create new connection for hostS1 of schema xxx  (io.mycat.backend.datasource.PhysicalDatasource:PhysicalDatasource.java:413) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,566 [INFO ][$_NIOREACTOR-0-RW] init result :finished 5 success 0 target count:10  (io.mycat.backend.datasource.PhysicalDBPool:PhysicalDBPool.java:319) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,566 [ERROR][$_NIOREACTOR-0-RW] #!MyCat#rwtest init failure  (io.mycat.backend.datasource.PhysicalDBPool:PhysicalDBPool.java:279) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,567 [WARN ][$_NIOREACTOR-0-RW] ServerConnection [id=2, schema=testdb, host=192.168.122.1, user=root,txIsolation=3, autocommit=true, schema=testdb]SHOW TABLE STATUS, route={
INFO   | jvm 1    | 2018/06/08 13:57:32 |    1 -> dn1{SHOW TABLE STATUS}
INFO   | jvm 1    | 2018/06/08 13:57:32 | } java.lang.IllegalArgumentException: Invalid DataSource:0
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.backend.datasource.PhysicalDBNode.getConnection(PhysicalDBNode.java:140)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.backend.mysql.nio.handler.SingleNodeHandler.execute(SingleNodeHandler.java:182)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.server.NonBlockingSession.execute(NonBlockingSession.java:132)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.server.ServerConnection.routeEndExecuteSQL(ServerConnection.java:288)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.server.ServerConnection.execute(ServerConnection.java:222)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.server.handler.ShowHandler.handle(ShowHandler.java:60)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.server.ServerQueryHandler.query(ServerQueryHandler.java:76)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.FrontendConnection.query(FrontendConnection.java:317)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.FrontendConnection.query(FrontendConnection.java:337)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.handler.FrontendCommandHandler.handle(FrontendCommandHandler.java:71)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.FrontendConnection.rawHandle(FrontendConnection.java:478)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.FrontendConnection.handle(FrontendConnection.java:460)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.AbstractConnection.onReadData(AbstractConnection.java:321)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.NIOSocketWR.asynRead(NIOSocketWR.java:190)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.AbstractConnection.asynRead(AbstractConnection.java:273)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at io.mycat.net.NIOReactor$RW.run(NIOReactor.java:102)
INFO   | jvm 1    | 2018/06/08 13:57:32 |       at java.lang.Thread.run(Thread.java:745)
INFO   | jvm 1    | 2018/06/08 13:57:32 |  (io.mycat.server.NonBlockingSession:NonBlockingSession.java:135) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,569 [WARN ][$_NIOREACTOR-0-RW] can't connect to mysql server ,errmsg:Host '192.168.122.21' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' MySQLConnection [id=627, lastTime=1528437392500, user=root, schema=xxx, old shema=xxx, borrowed=false, fromSlaveDB=false, threadId=0, charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.122.21, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]  (io.mycat.backend.mysql.nio.MySQLConnectionAuthenticator:MySQLConnectionAuthenticator.java:91) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,569 [WARN ][$_NIOREACTOR-0-RW] connect error MySQLConnection [id=627, lastTime=1528437392500, user=root, schema=lwtest, old shema=lwtest, borrowed=false, fromSlaveDB=false, threadId=0, charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.122.21, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]ConnectionException [code=1129, msg=Host '192.168.122.21' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts']  (io.mycat.backend.mysql.nio.handler.GetConnectionHandler:GetConnectionHandler.java:74) 
INFO   | jvm 1    | 2018/06/08 13:57:32 | 2018-06-08 13:57:32,569 [WARN ][$_NIOREACTOR-0-RW] can't connect to mysql server ,errmsg:Host '192.168.122.21' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' MySQLConnection [id=629, lastTime=1528437392500, user=root, schema=xxx, old shema=xxx, borrowed=false, fromSlaveDB=false, threadId=0, charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.122.21, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]  (io.mycat.backend.mysql.nio.MySQLConnectionAuthenticator:MySQLConnectionAuthenticator.java:91)

由于这个原因，我研究了一下MySQL初装之后的那些库和自带的一些表，看看里面都有什么

比如MySQL库的proxies_priv、db、global_grants、tables_priv几个表可疑

还有performance_schema库的accounts、host_cache、hosts也可疑

但是后一个库更多的是用来做统计用的。。所以它应该不是数据来源

但是我在这个过程中，修改了一些之前改的不彻底的地方，比如下图

如上图所示，我的root账号对应的host还都是localhost...我明明在mysql下的user表中将它们都改为%了

没办法，从这里全都改一遍吧

然后，上面的报错中，有一个比较有标志性的错误信息，就是Invalid DataSource：0

和我下面总结的那些参考资料中的“报错汇总”那一篇中，可以看到类似的报错信息

按照人家的提示做了，不解决问题。。。暂时搁置

把注意力完全放倒前面说的，不能用命令行登录MySQL的思路上去

10、登录MySQL的方式

总觉得，我一直没能登录到MySQL上才是问题的根源，

因为不能用命令行登录，所以我其实一直在MySQL之外徘徊

查了些资料，有的说是对账号赋权限的问题，那么就想办法赋权限

通用的方法是下面这样

GRANT all PRIVILEGES ON *.* TO 'root'@'192.168.122.21'

IDENTIFIED BY '123456' WITH GRANT OPTION;

但是如果一个账号你已经创建了，并且有权限的情况下，再执行这个，会在“identified”附近报错

去掉“identified by '123456'”部分就没问题，

11、关键的报错

INFO   | jvm 1    | 2018/06/12 11:08:57 | 2018-06-12 11:08:57,009 [WARN ][$_NIOREACTOR-0-RW] MySQLConnection [id=12, 
        lastTime=1528772936991, user=root, schema=db1, old shema=db1, borrowed=false, fromSlaveDB=true, threadId=5598, 
        charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.122.21, port=3306, 
        statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 
	connectionError java.lang.RuntimeException: Unknown charsetIndex:255  
	(io.mycat.backend.mysql.nio.handler.NewConnectionRespHandler:NewConnectionRespHandler.java:37)

感觉是字符集的问题，特别是“Unknown charsetIndex：255”这一句。

查了查mysql的字符集，发现我的是UTF8mb4 。将能修改的尽量改为utf8，查看方法如下

show variables like '%character%';

show variables like 'collation%';

修改/etc/my.cnf配置文件即可，配置方法如下

[client]
default-character-set = utf8

[mysqld]
#character_set_results = utf8
character-set-server = utf8
collation-server = utf8_general_ci

请严格按照上面的写法来写，特别是[client]和[mysqld]字段下的内容不能混用

12：

到这里，我的mycat的能启动了，但仅仅是能通过navicat连到mycat中

目前尚有一些问题，比如查询不到数据。。。

后面再解决吧

二、参考资料

https://www.cnblogs.com/ivictor/archive/2016/03/25/5319833.html 不明觉厉

https://wenku.baidu.com/view/85419575c77da26924c5b054.html 差强人意吧

https://www.cnblogs.com/joylee/p/7513038.html 非常好的一篇

https://blog.csdn.net/n447194252/article/details/75304303 报错汇总

https://www.cnblogs.com/daiwei1981/p/5473029.html 对参数的说明很详细

https://blog.csdn.net/Liqinghai058/article/details/80434504 MYSQL-8.0.11 修改密码并连接

https://www.uol123.com/2018/01/16/mycat-mysql.html 使用mycat(一)：搭建Mysql数据库读写分离

https://www.cnblogs.com/ivictor/p/5111495.html MyCAT简易入门

https://www.jianshu.com/p/cb7ec06dae05 Mycat 实现 MySQL 读写分离

http://www.cnblogs.com/kaye0110/p/5134588.html MySql 读写分离与日志分析——主从单结点

https://blog.csdn.net/bin594505536/article/details/79116351 MyCat 1.6 读写分离、分库分表配置

https://blog.csdn.net/dreamcode/article/details/44307377 白话MyCat——MyCat部署运行

darkdragonking

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

安装Centos7 、 Mysql8 集群，实现读写分离 高可用（五+）-- MyCat调试过程踩的坑和收获

零、无语的开始

一、开始踩坑

安装Centos7 、 Mysql8 集群，实现读写分离高可用（五+）-- MyCat调试过程踩的坑和收获