mysql
文章平均质量分 51
dualven_in_csdn
布道者;创造者;
Mr writer。
目前博客内容主要偏重于个人技术记录,后面希望多些系列知识的整理。
展开
-
mycat1.6系列log4j漏洞处理方案
原理:更新log4j相关包到2.17.0版本(最新,截止2021-12-23)放于/home/dualven/loglibs/下/alidata/server/mycat/bin/mycat stoprm -rf/alidata/server/mycat/lib/log4j*cp/home/dualven/loglibs/*.jar/alidata/server/mycat/lib/...原创 2021-12-23 10:33:04 · 1667 阅读 · 0 评论 -
外场mysql的安全扫描解决方案
systemctl restart firewalldfirewall-cmd --zone=public --add-port=9090/tcp --permanentfirewall-cmd --zone=public --add-port=8080/tcp --permanentfirewall-cmd --zone=public --add-port=162/udp --permanentfirewall-cmd --zone=public --add-port=1701/udp --pe.原创 2021-11-17 14:33:14 · 1224 阅读 · 0 评论 -
mybatis-plus分页查询的官方坑
分页插件 | MyBatis-Plus官网是最权威的。但是漏了一个配置。如官方我们这样配置后,后方做一些测试用例后,发现没有进行分页,还是整体返回 。解决方案:需要注入到工厂 !...原创 2021-10-27 18:01:59 · 356 阅读 · 0 评论 -
Mycat2 系列5: 对于建表语句问题
分为简单的:单表语句,动态建表语句,动态表对应的单表。动态表生成出来的多表单表。mesh_device, mesh_device_info in dynamic ,mesh_device_info in single, mesh_device_info_XXX对应上述。mesh升级包对于分表的表结构问题是否只可以 只管原始表的更新,而不理睬 schema.json文件里的变更对于单表,比如 mesh_device,原来在json里通过ui等手段建立的,现在我在物理表里变更,不管sc.原创 2021-10-12 10:54:26 · 472 阅读 · 0 评论 -
mybatis-plus使用
目录优势问题:使用MyBatis 查询数据库查出有数据 但返回对象为null自动生成代码动态数据源时可能用到的resultset读取方法参考MyBatis-Plus为简化开发而生https://mp.baomidou.com/优势主要是不想使用mybatis里的xml文件,觉得这样的形式更好。可以使用baseMapper的一些方法。也可以直接使用注释的方式来扩展sql进行使用。比较丰富的mp函数。可以看下参考问题:使用My...原创 2021-10-09 18:01:10 · 409 阅读 · 0 评论 -
mycat2 系列三:项目实践mesh
(1)/*+ mycat:createSchema{ "customTables":{}, "globalTables":{}, "normalTables":{}, "schemaName":"mesh", "shardingTables":{}, "targetName":"prototype"} */;得到mesh.schema.json生成了所有的脚本。(2)delete mesh_device_infofrom UI...原创 2021-09-18 18:08:39 · 433 阅读 · 0 评论 -
mycat2系列二: 源码及路由算法
目录源码及编译路由算法客户端服务器配置.json语法ui客户端源码及编译GitHub - MyCATApache/Mycat2: MySQL Proxy using Java NIO based on Sharding SQL,Calcite ,simple and fastMySQL Proxy using Java NIO based on Sharding SQL,Calcite ,simple and fast - GitHub - MyCATApache/M...原创 2021-09-18 15:19:58 · 621 阅读 · 0 评论 -
Mycat2系列一: 初步试用
目录安装与启动操作步骤命令环境:类比mycat 1.6.3安装与启动1.下载对应的tar安装包,以及对应的jar包 tar包 http://dl.mycat.org.cn/2.0/install-template/*zip jar包 http://dl.mycat.org.cn/2.0/1.20-release/ (下载最新的jar包) 下载所需的mycat2的fat jar 一般大小为100mb的一个jar文件 把这个ja...原创 2021-09-16 16:44:19 · 472 阅读 · 0 评论 -
IDIC 方案优化设计
(1)中的subTabs基本可用,但在做模拟测试时,使用 load data infile命令会不支持,详情见https://github.com/MyCATApache/Mycat-Server/issues/2804(2)原创 2021-06-16 10:45:27 · 95 阅读 · 0 评论 -
mycat,mysql导入导出的一些细节的问题
当你的数据库里的字符原创 2021-06-10 15:28:02 · 886 阅读 · 0 评论 -
mysql 高效删除数据的方法
新的数据处理方案:如果在一张表都是不要的数据,不要用delete 用truncate如果一张表的数据很复杂,那么导出要的数据 比如只有三分之一,然后truncate 再导入需要的这部分数据即可。(1) 导出需要的数据mysql -uroot -p123456 -h127.0.0.1 -P3306 cn116 -N -e "select * from dw_equip_imsi_count" > 116.sql(2) 删除整个表的数据mysql -uroot -p123456 -原创 2021-04-08 13:07:39 · 823 阅读 · 0 评论 -
TDengine 系列一
TDengine 简介TDengine是涛思数据专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、流式计算等功能,最大程度减少研发和运维的复杂度,且核心代码,包括集群功能全部开源(开源协议,AGPL v3.0)。10 倍以上性能提升。定义了创新的数据存储结构,单核每秒就能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快了十倍以上。 硬件或云服务成本降至1/5。由于超强性能,计算资源不到通用原创 2021-03-25 11:26:39 · 275 阅读 · 1 评论 -
不修改成型大数据结构,升级版本的方法;以及变更mycat模型的方法
(1) 升级时。 需要在解压前备份旧的数据结构,解压后再恢复到旧的数据结构;并且阻止结构的升级脚本。http://10.30.120.1/dualvenDoc/allshell/blob/master/chinese/0317.shfunction beforeUnzip(){now_version=`sed -n 's/<version>\(.*\)<\/version>/\1/p' $app_path/sql/version.xml`echo $now..原创 2021-03-05 14:28:57 · 173 阅读 · 1 评论 -
入库性能测试报告
face-imsi(3-2 18:00-3-3 20:33 历时 26小时30分。10s/个。 9473. 平均10s/个。[framework] 2021-03-03 20:27:38 - [ INFO ] - RefreshFaceImsiJob : 75 - *-*--**-*-*-------------RefreshFaceImsiJob-End= ,SIZE:9473个,已经处理个数:9446 [framework] 2021-03-03 20:27:44 - [ INFO ]...原创 2021-03-04 10:11:06 · 251 阅读 · 1 评论 -
解决mysql主备延迟问题
根据原理 ,应该不会有主备延迟,因为主库有能力处理,备库怎么没有能力,特别 是在同一台机器上的时候 原因就在于备库的写,只开了一个线程。这样,在5.7之后 的版本里,我们可以开启多线程处理slave-parallel-type=LOGICAL_CLOCKslave-parallel-workers=16master_info_repository=TABLErelay_log_info_repository=TABLErelay_log_recovery=ON参考:......原创 2021-02-25 17:24:02 · 292 阅读 · 0 评论 -
windows上绿色安装mysql5.7.27
(1)下载合适版本https://downloads.mysql.com/archives/community/(2)注意5.7后的版本与之前 的初始化方式 不同mysqld --initialize-insecurewindows下简单使用下即可。在linux下有类似的语句,只不过要指定相应的配置文件。(3) mysqld 后mysqladmin -uroot password 123456 进行密码设置。(4)服务化mysqld install 就可以在 servic..原创 2021-02-23 11:06:23 · 218 阅读 · 0 评论 -
模式4的mycat分布式升级
1.在目前的基础上,需要将 my.conf 及另四个/alidata/server/mysql/conf/*.conf进行增加innodb_file_per_table=1,解决mycat进行修改大表时遇到的表名大小写问题;然后再执行 mycat.offline.bin 的4.2. mycat/conf/rule.xml schema.xml需要手动增加rule,及schema,又不能像mycattype=2那样直接替换,rule里的最先的规则,与最新的分库规则,及日期都不同;schema.xml里..原创 2020-10-30 15:36:50 · 182 阅读 · 0 评论 -
mycat DDL的项目实践
https://blog.csdn.net/u011983531/article/details/79191539Mycat支持的常见的DDL语句的。CREATE:create index DROP:drop index TRUNCATE:truncate table ALTER:alter table根据测试,在mycat里,进行了分库的表,是不支持createtable操作的。比如下表 <table name="dw_equip_imsi_co...原创 2020-10-16 13:41:46 · 457 阅读 · 0 评论 -
同人,不同人模型测试记录2020-08-27
原创 2020-08-28 16:05:07 · 125 阅读 · 0 评论 -
现场指导之mysql的停止与启动
当服务器单裤数据超过50G,当数据库出现问题,比如主备延迟,或者异常kill等。数据库停止与启动已经很慢;可能要花十几分钟!正常情况下,还是几秒可以操作完成的。举例关掉3307端口。/alidata/server/mysql/bin/mysqladmin -uroot -p123456 -h127.0.0.1 -P3307 shutdown注意观察日志:tail -f /alidata/log/mysql/error3307.log2020-07-16T01:32:31.5..原创 2020-08-20 13:29:27 · 1049 阅读 · 0 评论 -
系统稳定后的CPU图。
凌晨0:00开始干活,早上10:00后大概干完; 之后系统比较轻负荷,体验较好!原创 2020-08-14 15:56:18 · 205 阅读 · 0 评论 -
IDIC日常正常资源分布
原创 2020-07-24 06:56:53 · 91 阅读 · 0 评论 -
IDIC性能改造效果记录
https://blog.csdn.net/dualvencsdn/article/details/107439934经过排查改造后:(1)数据库的读写降低了。一天几百万的读写降低。(2)CPU空闲率从45%,升至95%;白天正常采集下,大概78%。2020-7-22(3) 将白天缓存中处理的数据夜晚入库。CPU使用 早上看各数据节点主备一致 !!!(4)系统凌晨3:00有一时刻的卡死。...原创 2020-07-22 08:23:15 · 141 阅读 · 0 评论 -
IDIC一次主备读写性能的排查及结论
主要问题:(1)主备延迟。表现为:原数据的延迟(2)匹配延迟。表现为:匹配算法执行的延迟。方案设计:(1)删除多余 的数据 特别是dw_face_imsi_u系列;严格控制匹配数据在200以下。(这是主体思想,不仅涉及到查询与匹配,存储 上面也会有问题)(2) 将 cn dn en 都要分 dataHost,因为他们的主备如果混在一起,压力 比较 大,延迟比较 厉害。(新布署有效)(3) imsi mac接收线程单独做一个服务; 可以减少一个mycat的压力,这个服务可以用一个单独的..原创 2020-07-19 08:35:04 · 207 阅读 · 0 评论 -
Mysql主备恢复处理思路
(1) 备份数据 mysql -uroot -p123456 -h127.0.0.1 -P3307 -e "stop slave ; reset slave"mysql -uroot -p123456 -h127.0.0.1 -P3306 -e "stop slave ; reset slave" /alidata/server/mysql/bin/mysqladmin -uroot -p123456 -h127.0.0.1 -P3306 shutdown /alidata/se...原创 2020-06-19 22:01:58 · 511 阅读 · 0 评论 -
pdas产品一次性能问题的定位
pdas作了一次架构的设计 ,后面将用k8s管理docker,各子模块都可以随意扩展,负载均衡,性能将杠杠的,顿时豪情万丈! 突然,最近加的人像的匹配率,让系统一下子卡顿了! what ? 才六个摄像头,计算下就挂了,那还豪情个啥? 看了下代码,好像也没有大的写法问题。先环境上大致看一圈。 mycat ,使用mycat-eye看了下,好像没有问题; mysql,使用lepus分析了下,好像也问题不大; 那最后剩下 tomcat, 打开了tomcat-manager看了下,...原创 2020-06-04 10:08:48 · 234 阅读 · 0 评论 -
论mysql 的修复
mysql本身的校验机制很强,所以他的ibdata,iblog之间如果匹配不上,会出大问题: 比如强制断电会引起; 比如数据库在更新时,你拷了整个数据库,准备另作他用,结果发现,数据会起不来。(1) 在强制断电引起的启动不来的问题,我们通常会修改数据库的innodb_force_recovery 方式,先导出数据,然后重建数据库,再导入数据 ,在数据量不大的情况 下,这种都没有问题;而遇到海量的数据时,你的导出导入,理论上是可行的,但实际上会要命。(2) 所以我们...原创 2020-05-28 14:23:06 · 150 阅读 · 0 评论 -
Mycat的schem.xml修改及数据导出导入
如果更改了mycat的路由算法,要先导出数据,修改schem.xml,再导入数据。这样,按新的规则,mycat才能找到原来的旧数据(1)导出字段/alidata/server/mysql/bin/mysqldump -uroot -p123456 -h127.0.0.1 -P3306 -c --skip-add-locks en10 dw_face_imsi > face_imsi_...原创 2020-04-28 09:08:56 · 315 阅读 · 0 评论 -
数据库监控之lepus
总体上参考http://www.dbarun.com/docs/lepus/install/(1) 官网链接:http://www.lepus.cc与《数据库监控》不同,本文直接从官网下载最新:http://www.lepus.cc/soft/index(2)python相关根据centos里的python默认版本,下载一个跟它一样版本的anaconda,如果需要什么样的虚拟...原创 2020-04-22 14:12:15 · 293 阅读 · 0 评论 -
数据库监控
数据库监控 简介 Lepus(天兔)数据库企业监控系统是一套由专业DBA个人针对互联网企业开发的一款专业、强大的企业数据库监控管理系统,企业通过Lepus可以对数据库的实时健康和各种性能指标进行全方位的监控。目前已经支持MySQL、Oracle、MongoDB、Redis数据库的全面监控....原创 2020-04-22 13:48:55 · 941 阅读 · 0 评论 -
mysqldump关于存储过程,事件等的导出
https://www.cnblogs.com/ww11/p/8966371.html查看具体哪个表或者事件或者存储过程的创建过程show create [table|procedure|event] XXX;查看有哪些表或者事件或者存储过程;show [tables|procedure status|events]仅导出事件与存储过程 -R, -Emysqldump...原创 2019-10-18 14:23:14 · 892 阅读 · 0 评论 -
Mycat实战之 between
(1) 通过在 -8066的环境里,explain语句,可以看出mycat 对 time> <等,是不会进行区分库的,查询都查,直接可以死掉,如图1; 但between ,如图2,直接可以的! 结论1:当天查询或者时间段查询时,用between.------请改到代码里(2) 但,即使如此 count(*)逃不过去。图3可以看出千万级以下的,通过count(1)还...原创 2019-01-23 14:46:18 · 558 阅读 · 1 评论 -
mysql中ibd文件的修复
https://www.toutiao.com/i6442804114094031374/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1546047462&app=news_article&utm_source=weixin&iid=54622526127...原创 2018-12-29 13:57:30 · 3038 阅读 · 1 评论 -
mycat eye的布署
安装zookeeper下载解压wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gztar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/cd /usr/local/zookeeper-3.4.6/confcp zo...原创 2018-11-13 13:48:04 · 268 阅读 · 0 评论 -
数据库导出的一个比较方便快捷的方式及注意事项
本篇重点推出一个手动的快捷导表的方式mysqldump的特殊用法在很多的场景,我们需要搭建测试服务器等相同结构的数据库,这样通过导出数据,再导入的方式,就比较繁琐。我们可以通过下面一句话的方式实现。整表迁移mysqldump -h 'xxxx' -uroot -pmlt110825 --opt --compress mail --skip-lock-tables | mysql -原创 2018-01-24 14:56:42 · 367 阅读 · 0 评论