- 博客(66)
- 收藏
- 关注
RSS订阅原创 包拯断案 | 数据库从库GTID在变化 为何没有数据写入@还故障一个真相
GreatDB启动时，每一行作为一个条件，此时对于tongdao2而言，配置replicate-wild-do-table的。原因，因此求助研发团队。一套多源复制的数据库架构，DBA发现：从库主机异常重启、启动复制后，GTID在变化但是并没有数据写入，因此，同步过程中，table_name=t1，test2.t2 找不到，导致所有事务全部转化为空事务，作为DBA的你，遇到问题无从下手，除了在问题面前徘徊，还能如何选择？数据库从库所在主机发生异常重启后，手动拉起复制链路，一段时间后客户反馈从库数据没变化，
2024-09-06 18:35:13
498
原创 新版本 | GreatSQL 8.0.32-26全新发布 增强“四高”诸多新特性
🌟GreatSQL 8.0.32-26版本全新发布🙌高可用+高性能+高安全+高兼容全面加强！🙌增强多项新特性，打造更优使用体验！戳上方链接一键了解详情~
2024-08-23 14:21:49
638
原创 包拯断案 | 数据库从库复制延迟引发高可用风险 怎么破@还故障一个真相
研发人员要严格按照参数开发规范中的描述进行开发，禁止使用create table xxx as select * from xxx语句进行表复制。并将表复制操作修改为2步：第一步复制元数据，create table xxx like xxxx；第二步复制数据，insert into xxx select * from xxxx。2.避免在生产环境中进行测试。3.大事务要进行拆分，避免出现全表更新或删除等操作。
2024-08-02 13:30:44
882
原创 项目纪实 | 业务不停机、升级0感知！万里数据库生产环境助力操作系统升级 获客户点赞
为积极响应和落实国家、集团相关要求，某运营商省公司历时一个月将GreatDB数据库集群下Red Hat操作系统升级为BigCloud操作系统，以建立完善的IT自主可控体系，推动产业链生态发展。
2024-07-11 10:53:27
849
原创 包拯断案 | 数据库集群主从节点GTID不一致怎么破@还故障一个真相
从同事描述操作情况得知：当时从节点进行了重启，并执行了use db和查询数据的操作，操作后就出现了GTID不一致的告警。在进行select查询时，会触发新的主节点对该memory引擎表进行truncate，同时该truncate语句会通过主从同步方式同步至从节点，所有节点memory引擎表的数据皆为空。如果数据库从节点重启过，并且新的主节点是这个重启过的数据库节点，则会出现一种情况：切换前可以查询到memory引擎表数据，切换后无法查询memory引擎表数据。确定了问题方向，进行具体分析。
2024-06-14 13:30:41
802
原创 包拯断案 | 数据库集群出现大量会话等待刷新锁，怎么破？@还故障一个真相
如使用greatsqldump进行备份，--flush logs --single-transaction一起使用时，或者带选项--source-data而不带选项--single-transaction时，都会发出flush tables命令；根据显示的计算节点IP信息，登录对应计算节点，将此会话kill掉，问题就迎刃而解了，再去查询其他全局会话视图，会发现那些waiting for table flush的语句已经全部消失，数据库集群业务恢复正常，因此。确定了问题方向，进行具体分析。
2024-06-07 11:18:50
667
原创 项目纪实 | 版本升级操作get！GreatDB分布式升级过程详解
确认客户的C#驱动版本为MySQL 6.9.8，需升级驱动到MySQL 8.0.32，数据库中连接串可以添加 OldGuids=true，然后数据库连接正常，汉字写入正常；从日志中发现，实例启动期间进行了redo恢复。不升级C#驱动，将vscode工具升级到2013以上版本，数据库中连接串可以添加 OldGuids=true，之后数据库连接正常，汉字写入正常。在升级之前，万里数据库项目团队帮助客户在本地测试环境构造了相同的基础版本，导入部分生产数据，尽量复刻生产环境进行升级，显示测试升级正常。
2024-05-31 14:28:42
1383
原创 包拯断案 | MySQL5.7替换路上踩过的坑 一键get解决办法@还故障一个真相
若事务是回放线程发起的，在开启slave_preserve_commit_order情况下，事务进入Stage 1等待队列前，会先进入排队状态，以保证从库事务提交顺序和主库保持一致，保护事务提交时间的线性增加。从库延迟大时，可以考虑关闭。二级从库回放时，8号事务完成后，只有9号事务的last_commit为8，退化为串行回放。binlog_group_commit_sync_delay ，这一参数受限于从库并行执行，无法通过此参数合并大量事务提交，容易进入无意义的空等，反而减慢事务回放。
2024-05-24 10:48:58
502
原创 包拯断案 | 数据库连接突然中断？别慌@还故障一个真相
在这种情况下，由于缺乏对GreatDB客户端的正确安装，导致了dbscale_daemon.py每5分钟执行一次的GreatDB命令失败，从而误判了router进程的状态。由于GreatDB命令无法直接执行，192.*.*.1节点的dbscale_daemon.py程序返回状态错误，误认为router不在线，因此自动执行重启router。遇到此类问题后，我们要做到心中有章（章程），遇事不慌。通过使用GreatADM进行集群部署，我们可以遵循正式的流程，并在部署后进行必要的检查和验证，确保集群的正常运行。
2024-04-29 15:49:03
510
原创 包拯断案 | 集群备份续集：三招解决定时备份延迟@还故障一个真相
在执行flush table with read lock之前，如果有超过该设置时间的活跃会话，flush table with read lock会等待，直到超过ftwrl-wait-timeout，则会备份失败退出。，遇到flush table with read lock语句执行超过指定时间后，将语句kill并重新发起备份（数据量较少、备份速度快的可以使用，怕的是重复重试，超过预期备份窗口时间）。这是一个老生常谈的语句，会关闭所有打开的表，并使用全局读锁锁定所有数据库的所有表。
2024-04-11 16:37:39
543
原创 性能测试丨GreatSQL TPC-H 性能测试报告正式发布！
➥ https://greatsql.cn/docs/8032-25/user-manual/5-enhance/5-1-highperf-parallel-load.html 并行导入TPC-H测试数据。➥ https://greatsql.cn/docs/8032-25/user-manual/10-optimze/3-2-benchmark-tpch.html，完成TPC-H工具编译安装。参考GreatSQL社区提供的TPC-H性能测试脚本，完成测试，并记录各个SQL的耗时。
2024-03-21 16:36:10
532
原创 包拯断案 | 程序连接频繁出现超时怎么破@还故障一个真相
提问：作为DBA运维的你是否有过这些苦恼1）数据库部署完成后，测试时发现程序连接频繁出现连接超时的情况？2）每次遇到该问题，应用程序重连后基本能连上，检查数据库集群未出现异常，但严重影响测试及上线进度，不知是什么原因？心中有章，遇事不慌作为DBA的你，遇到问题无从下手，除了在问题面前徘徊，还能如何选择？如果你一次或多次遇到该问题还是无法解决，又很懊恼，该如何排忧呢？关注公众号，关注《包拯断案》专栏，让小编为你排忧解难~包拯秘籍一整套故障排错及应对策略送给你，让你像包拯一样断案如神：#首先遇到
2024-02-02 11:01:02
833
原创 产品解读：GreatADM如何快速改造单实例为双主、MGR、读写分离架构？
进入paxos配置项中，我们仍选择【default】默认项目，对应的软件包版本可选择升级的新版本，在做架构改造时，同时进行数据库的版本升级工作。通过sysbench压入单机数据，通过备份单机数据，恢复到新的架构中，使用sysbench直接连接新的架构做压测，查看是否可正常运行验证数据可用性。创建备份集存储的目录，使用root创建，并调整目录权限，保证和添加服务时创建的【管理用户】，同一个属组，确保GreatADM以greatsql普通用户备份时，有权限写入/backup。形成双主双从，这里仅作演示。
2023-11-28 15:17:17
296
原创 技术干货 | GreatDB新一代读写分离架构，如何炼就近乎0损耗的性能？
方法2：对于LD_LIBRARY_PATH：可以把非系统目录下的动态库添加软链接到系统库，或在/etc/ld.so.conf.d/ 下添加greatdb.conf文件，并添加非系统库路径，一般是/path/to/greatdb/bin/../lib/private， 可以通过ldd bin/greatdbd查看。1、当greatdb_ha_mgr_read_vip_floating_type=TO_PRIMARY时，实例B的读浮动IP将不受影响，因为它当前就是故障后集群的primary主节点；
2023-11-07 15:09:59
539
原创 产品解读 | GreatADM如何高效实现数据库资源池化部署?
选择paxos高可用，资源隔离数据库，配置项中，我们选择项目【北京海淀】，数据库软件包使用GreatDB-6.0.1，备份工具使用通用的xtrabackup，然后配置数据库初始账号等信息后，选择部署paxos的【资源规格】和节点数据量，paxos的最大节点数据库为9个，最小默认部署3个节点。但这里直接使用操作系统命令修改方法，可能会造成adm无法准确获取到实例的资源信息，造成资源池的状态更新不及时，及新后续创建的数据库实例分布不平衡的情况，或因资源不足造成数据库无法正常初始化的情况。
2023-10-31 13:46:24
231
原创 性能评测 | GreatDB VIP PLUGIN方案 VS MySQL InnoDB Cluster高可用方案
通过使用MySQL Shell的AdminAPI，改进了原始手动配置多个实例之间的存量数据同步，以及节点配置的检查、用户创建、权限分配、插件加载等诸多配置环节。通过对比GreatDB最新版本和原始社区MySQL8.0.32版本，在相同的3台配置主机上，使用相同my.cnf参数情况下，使用50张10w行表数据分别进行16、32、64并发的读写压力测试，GreatDB的paxos优化改进方案较原生MySQL MGR的性能分别提升12.6%、18.4%、26.8%，3个并发3次测试，平均性能提升19.3%左右。
2023-10-20 11:02:43
860
原创 包拯断案 | collation带来的影响剖析@还故障一个真相
作为DBA运维的你是否有过这些苦恼：现如今，DBA们在维护数据库实例（MySQL技术路线）时，面对字符集似乎已默认选择utf8 这个事情，是否关注过collation？作为一名DBA运维人员，有时候会遇到一些我们无从下手的灵异现象。例如：程序访问数据库每隔一段时间就会出现中断，时间可能固定或不固定，自己的三板斧抡完之后仍不奏效，求助开发，开发表示己方无错，夹在中间的你该如何处理？
2023-08-10 16:59:33
118
原创 技术干货 | 图文结合带你搞懂GreatSQL体系架构
所有的数据，数据库、表的定义，表的每一行的内容，索引，都是存在 文件系统上，以文件的方式存在的，并完成与存储引擎的交互。服务层是GreatSQL Server的核心，主要包含连接器、分析器、优化器、执行器等，涵盖 GreatSQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。GreatSQL数据库区别于其他数据库的一个特点就是其可插拔的表存储引擎，特别需要注意的是，存储引擎是基于表的，而不是数据库。
2023-08-04 11:10:48
235
原创 技术干货 | 数据库实例无法连接？GreatSQL帮你快速找到答案！
2.通过 kill 命令关闭数据库实例以及关闭主机（reboot/shutdown）导致数据库实例关闭，错误日志中会记录 SHUTDOWN from user，可通过history命令查看是否执行过 kill 操作或关闭主机的操作；3.通过kill -9 命令关闭数据库实例以及主机异常断电导致数据库实例关闭，错误日志中不会记录导致数据库实例关闭的信息，可通过history命令查看是否执行过 kill -9 操作。通过模拟主机异常断电，从而导致数据库实例关闭。通过正常关闭主机，从而导致数据库实例关闭。
2023-07-20 10:46:01
420
原创 包拯断案 | 揭晓Linux下CPU利用率过高的谜底与方法@还故障一个真相
作为DBA的你，遇到问题无从下手，除了在问题面前徘徊，还能如何选择？如果你一次或多次遇到该问题还是无法解决，又很懊恼，该如何排忧呢？关注公众号，关注《包拯断案》专栏，让小编为你排忧解难~
2023-05-12 18:34:07
835
原创 GreatSQL社区首款开源工具亮相丨数据校验&修复工具gt-checksum开源啦！
1、MySQL主从复制场景：主从复制中断后较长时间才发现，且主从间差异的数据量太多，这时候通常只能重建复制从库，如果利用 pt-table-checksum 先校验主从数据一致性后 ，再利用 pt-table-sync 工具修复差异数据，这个过程要特别久，时间代价太大。作为MySQL DBA，相信应该都听说过Percona出品的pt-table-checksum & pt-table-sync 工具（没听说过的绝对不是合格的MySQL DBA，嘿嘿），可以用它俩进行数据校验及修复工作，非常好用。
2023-05-06 09:48:21
668
原创 社区生态 | openEuler、龙蜥Anolis、统信UOS三大主流操作系统下编译GreatSQL二进制包
当然了，jemalloc并库不是必须的，用它的好处是可以优化内存管理性能等。下载安装jemalloc rpm包（rpm包依赖glibc版本，可能无法直接使用，可以自行下载源码包编译）是在物理机上执行的，实际编译环境则是在这个物理机上运行的虚机中，分配了8个CPU、16G内存。在本次编译过程中，openEuler 2203的glibc版本是2.34。本文简要记录在这三个操作系统下编译GreatSQL二进制包的过程。中列出的所有包，包括 jemalloc 包。不出意外的话，就可以编译生成二进制文件了。
2023-04-21 11:52:18
1676
原创 运维工具箱 | Linux下如何正确理解CPU使用率？
/us:用户空间占用CPU百分比 sy:内核空间占用CPU百分比 ni:用户进程空间内改变过优先级的进程占用CPU百分比 id:空闲CPU百分比 wa:等待io输入输出的CPU时间百分比 hi:硬中断（调用系统的中断程序进行中断，例如程序异常退出等）si:软中断（多线程或多进程下切换时内核态和用户态的一个切换，需要和寄存器、程序计数器交互）st:系统运行虚拟机时被其他虚拟机占用的CPU时间。//有1220个工作任务，正在运行的有1个，590个休眠的，没有被终止的任务，没有僵尸进程。
2023-03-24 14:34:01
1258
原创 包拯断案 | create connections failed的深度剖析@还故障一个真相
create connections failed的深度剖析@还故障一个真相
2023-03-10 11:41:03
191
原创 联合评测 | GreatSQL开源数据库在DapuStor Roealsen5 NVMe SSD中的应用探索
GreatSQL数据库搭载DapuStor Roealsen5 NVMe SSD，平稳高效！
2023-01-13 11:45:27
268
原创 GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案：实现高性能分布式部署
1. 计算节点是无SSD盘的裸金属服务器，运行MySQL数据库服务程序；2. 存储节点提供NVMe SSD资源池，通过软件聚合方式提供高性能Lun实现对于数据库的数据的存储服务；两部分服务器通过Quantum 平台的InfiniBand网络实现对计算节点和存储节点的无损连接，结合NVMe-oF（NVMe over Fabric）高效的数据存储传输协议，将存储节点的Lun挂载到计算节点，实现结算节点本地高性能的数据存储能力。...
2022-08-26 11:42:38
257
原创 解读 | GreatDB如何进行数据分布？
另外，GreatDB的分片在计算节点上，相对业内采用“元数据管理节点”或者“K-VALUES”更新表的元数据分片信息，其优势在于能将数据相对均匀地分散在后端存储节点上，更易发挥分布式数据库多点多实例计算的性能。如网站商品的标签表、类别表。目的是优化分布式的下推和后端存储数据的内部计算，减少跨节点的数据交互和分布式事务开销，提升SQL的查询效率和性能。为了提升分布式表跨节点关联查询的性能，而创建的业务配置表，静态表，或极少更新的表，不建议大表使用全局表，其副本冗余较多，磁盘空间占用较大大，更新性能代价大。..
2022-07-29 10:14:12
452
原创 关于互联网平台账号诽谤万里数据库的严正声明
严正声明5月28日，今日头条上名为“微创社”的个人账号发布了一则不实信息，声称“万里数据库受MySQL制裁或断供”。北京万里开源软件有限公司（以下简称“万里数据库”）在此严正声明：公司数据库产品遵循相关开源协议约定，毋需购买所谓的“商业授权”，亦不存在任何由此带来的所谓“制裁或断供”风险。“微创社”账号应立即删除该不实信息，引用及传播的相关平台、账号应立即撤销该等不实内容。万里数据库已就该等内容进行电子存证，将进行溯源追查。若本声明发布后，相关信息仍未撤销的，万里数据库将依法追究其法律责任。特此声明
2022-05-30 17:38:30
144
原创 新版本 | GreatSQL 8.0.25-16正式发布，这些新增特性不容错过~
经过近期的努力，支持仲裁（投票）节点特性的 GreatSQL 8.0.25-16今天正式发布啦，可以用接近两台服务器的成本构建MGR（节省服务器资源），此外还支持快速单主模式以及改进选主策略等特性，该版本里也修复了众多MGR关键bug。用MGR，选GreatSQL，更放心~GreatSQL 8.0.25-16 新版本亮点1.新增特性1.1 新增仲裁节点（投票节点）角色1.2 新增快速单主模式1.3 新增MGR网络开销阈值1.4 自定义选主模式2.稳定性提升3.其他调整4.bug修复5.G
2022-05-20 14:03:03
393
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人