数据库采坑总结:
1.socketTimeout和connectTimeout和queryTimeOut未配置问题:
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://mysql-XXXXXX/dataName?
useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=Asia/Shanghai&socketTimeout=10000&connectTimeout=10000
jdbc配置要反复确认,设置合理的参数值:
应用服务器在遭到DDos攻击后无法响应
深入理解JDBC的超时设置:https://www.jianshu.com/p/6d19e0d7f81c
2.数据库执行kill加锁,导致很慢
Group mysql | Artifact mysql-connector-java | 版本 5.1.34 |
| |||
限制原因 5.1.34版本存在BUG(详情参考https://bugs.mysql.com/bug.php?id=75592),推荐使用5.1.36。 |
|
|
|
随着数据的增大,查询时间增大,问题发生时单条sql执行时间较长;同时应用设置了socketTimeout时间,当sql执行超过设置时间时,会主动kill掉之前执行的sql并关闭连接;由于项目使用的mysql 5.1.34版本存在bug(bug详情参考https://bugs.mysql.com/bug.php?id=75592),每次重建连接会执行"SHOW VARIABLES WHERE"语句,该语句执行很慢,且会对整个数据库加锁,导致数据库不堪重负;
3.pageSize未做限制,测试或外部人员攻击调挂数据库
PageHelper.startPage(pendantQuery.getPageNum(), Math.min(pendantQuery.getPageSize(), 1000));
1) 涉及分页查询的接口都对pageId, pageSize进行最大值限制,或者将sql改为记录上次查询的最大id的形式:select * from tb where id > xxx order by id asc limit maxRows;
2) 查询接口可以走从库的都改为走从库,不要直接查询主库;
CodeReview:
-
配置:资源配置正确性,重点关注数据库、redis、mainstay等中间件连接池配置,连接池大小、超时时间。
-
数据库:涉及的sql改动,重点关注查询条件索引、是否分页、分页大小、更新和删除条件(避免出现无条件删除、更新)。查询操作走从库。
-
线程、线程池、锁的使用要重点关注。
-
https://segmentfault.com/a/1190000019150306?utm_source=tag-newest