- 博客(67)
- 收藏
- 关注
原创 MySQL内部临时表(Using temporary)案例详解及优化解决方法
内部临时表是MySQL用来辅助复杂SQL聚合计算使用的,会优先占用内存。可用内存大小受会话级参数 tmp_table_size 和 max_heap_table_size同时限制,内存不够时会将内存临时表转化为磁盘临时表,也可以通过SQL_SMALL_RESULT修饰来强制只使用磁盘临时表。
2024-08-29 10:43:19
2289
原创 数据库监控诊断工具DBdoctor如何解决openGauss数据库性能问题
四大锁场景,点击查看等锁信息,即可通过环形图和泳道图方式直观的慢动作回放事务SQL的完整执行过程,并按照事务执行时序高亮标识数据库内核详细加锁和等锁事件,慢动作回放问题现场,快速找到问题源头。基于数学模型精准定位,自动框选异常时间区间并提示根因SQL,单条SQL资源可量化,把资源消耗映射为颜色面积,直观定位数据库性能问题并给出优化建议。可直观汇总展示实例中存在性能问题的所有SQL,点击单个SQL会展示异常问题现象、详细的根因推导过程,并给出最佳优化建议。在实例列表界面,可以看到已纳管的实例信息。
2024-11-19 14:49:55
585
原创 免费开源!DBdoctor推出开源版系统诊断工具systool
通过该工具,可快速的对Linux系统的多个指标进行查看,能够实现对系统状态的全面把握,从而为系统优化和故障修复提供数据支持,辅助问题排查,对问题可以进行一个方向上的初步定位,为日常运维工作提供极大的便利。IO:打印当前进程的IO情况,每个线程的读写次数,读写速率,操作文件名,上级目录名,当type为MySQL时,根据文件名进行文件归类展现文件类型是表或者是UNDO LOG、BIN LOG以及临时文件。,支持一键诊断,欢迎各位小伙伴体验试用,并期待您的宝贵建议,让我们共同推动技术的进步!
2024-11-18 14:10:10
654
原创 数据库监控工具DBdoctor v3.2.4.3版本发布,新增对openGauss、Vastbase G100的支持!
数据库性能诊断工具DBdoctor新增Vastbase G100数据库、openGauss数据库的支持。
2024-11-18 10:35:45
221
原创 MySQL扩展varchar字段长度能否Online DDL
面对Online DDL的众多场景,DBdoctor免费的SQL审核功能可以快速识别Online DDL,支撑线上DDL变更,有效预防锁表问题,欢迎小伙伴们下载体验!在MySQL 5.6 版本之前,所有的DDL变更都需要锁表,导致大量线程处于“Waiting for meta data lock”的状态,5.6版本引入Online DDL新特性,部分DDL 变更不需要锁表,引入算法In-Place和Copy(8.0增加Instant),其中 Instant,In-Place可以实现无锁变更。
2024-11-18 10:29:09
776
原创 Redis/Codis性能瓶颈揭秘:网卡软中断的影响与优化
1.正常情况下,客户Redis和Codis服务器都会执行均衡网卡软中断的脚本。但在此次事件中,客户生产环境遗漏了对该服务器的操作。同时,由于之前业务量较小,即使存在软中断问题,也未达到性能瓶颈。因此,这个问题在之前并未暴露出来。2.为了避免类似问题的再次发生,客户在监控系统中增加了软中断相关指标,并设置了阈值告警通知。3.总结影响Redis性能的关键因素,为后续性能问题分析提供思路:4.网卡软中断:软中断是Linux内核处理网络数据包的重要机制。
2024-11-18 09:43:47
1160
原创 『AI+函数』数据库性能诊断DBdoctor参数调优功能介绍
DBdoctor相较于传统的参数调优,除采集常规指标外,还利用eBPF技术捕获关键函数特征,并结合机器学习进行特征分析、模型训练和知识迁移实现了参数推荐功能,现已在3.2.4版本发布上线。即使有经验丰富的专家,由于数据库应用环境复杂,调优的过程仍然可能耗时耗力,难以快速见效。在参数推荐任务计算成功后,通过点击推荐详情可以查看推荐参数的明细,包括参数当前值,推荐值,是否重启等信息。如果希望限制参数调优的范围,如控制最小取值、最大取值,可以点击参数推荐配置的tab页进行查看与编辑配置。
2024-11-08 11:17:32
797
原创 DBdoctor快速纳管TiDB数据库
当前DBdoctor 适配TiDB-6.0及以上版本,并提供SQL审核、实例巡检、性能洞察、根因诊断、基础监控等功能服务。
2024-10-21 09:54:03
829
原创 DBdoctor v3.2.4新版本发布,AI参数推荐功能全新上线!
DBdoctor v3.2.4版本新增对MySQL数据库的AI参数推荐功能,支持PostgreSQL无符号表场景下开启锁分析。新增Oracle、SQL Server的锁分析功能和OceanBase、SQL Server的审计日志功能。支持以系统租户或用户租户纳管OceanBase集群数据库,新增对TiDB数据库的纳管支持。
2024-10-16 10:31:32
343
原创 DBdoctor推出无Agent轻量级纳管解决方案
通过无Agent纳管实例,可方便小伙伴快速体验SQL审核、性能洞察等功能,但同时因采集限制,锁透视、审计日志、根因分析等部分功能将受限,因此想体验DBdoctor全量功能,还是建议小伙伴们通过Agent方式进行实例纳管。DBdoctor是一款企业级数据库监控、巡检、性能诊断、SQL审核与优化平台,利用eBPF透视数据库内核,可一分钟定位数据库性能问题,实现根因诊断,并给出优化建议。
2024-10-16 10:24:17
755
原创 夜间数据库IO负载飙升?MySQL批量删除操作引发的问题排查
通过限制每次操作处理的数据量,并让循环持续执行直到没有更多数据需要处理,我们能够有效地避免数据遗漏,确保数据处理的完整性和准确性。删除大量数据后,表会产生空间碎片,尤其是在 InnoDB 引擎中,删除操作并不会立即释放磁盘空间,数据页中的记录会被标记为“已删除”,这可能导致表空间利用率降低。在处理大数据量的操作时(如删除、更新等),避免一次性加载或操作过多数据,防止耗尽内存及造成的数据库性能问题。:根据指定时间范围内直接删除,同时限制批量删除个数,防止数据量过大,对数据库造成负载。
2024-10-09 16:16:30
1286
原创 SQL性能优化指南:如何优化MySQL多表join场景
编写多表join的SQL时,需要注意关联字段是否使用索引、小表驱动大表、适当调整join buffer大小等。
2024-10-09 15:36:01
1598
原创 DBdoctor快速纳管GBase 8a数据库
🚀DBdoctor快速纳管GBase 8a数据库,并提供SQL审核、实例巡检、性能洞察、根因诊断、基础监控、存储分析等功能服务~
2024-09-02 09:51:48
1278
原创 海信电视与《黑神话 :悟空》合作,大屏端流畅游戏体验如何保障?
《黑神话:悟空》作为一款数据庞大的3A游戏,游戏玩家的流畅体验需要强大的数据技术作为支持。聚好看数据库是如何承受住众多终端设备的高并发压力呢?DBdoctor是其幕后英雄!
2024-08-30 11:38:42
607
原创 MySQL出现锁等待Lock wait timeout exceeded该如何快速解决
本文,我们将通过两个简单的例子,来帮助各位小伙伴快速理解锁等待的概念,以及探讨如何避免和解决锁等待问题。
2024-08-28 13:45:24
998
原创 PostgreSQL死锁问题(Deadlock found when trying to get lock)如何快速定位原因及解决
PGSQL数据库常见锁问题有哪些,如何快速定位及解决?死锁问题形成过程如何快速还原?
2024-08-28 10:42:52
1260
原创 一条执行24s的SQL产生7小时主备延时(案例详解)
这是MySQL最早的复制格式,所有的操作都会以SQL语句的形式记录在binlog中。主从同步的本质是基于主库的binlog来实现的,主库记录binlog,然后从库将binlog在自己的服务器上重放,从而保证了主、从的数据一致性。使用MySQL的binlog工具查看,主库上执行的这条删除语句,一共删除了10行数据,在binlog中每行数据分别对应一条日志。现在使用最广的是ROW格式,并且一些数据同步工具也要求必须将binlog的格式设置为ROW格式,我们这也是使用的ROW格式。DBdoctor产品介绍。
2024-08-26 11:41:22
1337
原创 数据库性能诊断利器 聚好看DBdoctor亮相中国数据库技术大会
经过两年的产品打磨,DBdoctor已支持MySQL、PostgreSQL、Oracle、SQLServer、OceanBase、TDSQL、PolarDB、DM、KingBase、HighGO、VastBase、Gbase等多种数据库,提供企业级全方位性能诊断解决方案,目前已应用于零售电商、制造业数字化转型、金融证券、ISV、政企信创、物流交通等多行业,逐步发展成为数据库可观测的最佳解决方案。数字化创新浪潮汹涌澎湃,数据库作为信息技术的核心基础设施,正以前所未用的速度推动各行各业的智能化升级。
2024-08-26 10:56:14
883
原创 免费赠票 | DBdoctor即将亮相2024 DTCC中国数据库技术大会
数据库性能监控与诊断平台DBdoctor,也将受邀出席此次盛会,并在会场设立专属展位,为您提供面对面的产品讲解及咨询服务。同时,8月23日下午海信聚好看数据库负责人郑祥,将受邀在。大会将设置2大主会场和20+技术专场,涵盖数据治理与数据资产管理、云原生数据库开发与实践、大数据平台建设等前沿议题,为广大数据领域从业人士提供一场年度的饕餮盛宴。8月22日-24日,2024年第十五届中国数据库技术大会(DTCC2024)将于北京举办。点击下方链接,关注[DBdoctor]公众号,后台私信,免费赠票。
2024-08-19 11:36:39
406
原创 eBPF实战教程六|USDT的预埋与性能测评
中,我们探讨了MySQL中DTrace的应用,该方法需要修改数据库内核代码(嵌入静态钩子),然后利用eBPF进行探测。在使用eBPF探测用户态应用程序时,从上面探针的触发耗时我们能看到USDT
2024-08-15 09:22:00
680
原创 java.lang.OutOfMemoryError:如何解决java OOM问题
OOM,在业内当之无愧被称为是Java程序员的噩梦之一。无论是初出茅庐的新手还是经验丰富的专家,都难以避免在开发过程中遭遇这一难题。尤其在业务高峰时段,应用程序因频繁的OOM错误导致服务中断和重启,实在令人头疼。如何快速定位及解决此问题,本文我们将与您详细探讨。
2024-08-12 15:46:09
703
原创 MySQL Using filesort如何优化:排序策略与优化方向
MySQL设计是通过参数sort_buffer_size这个会话级别参数来控制,简单说当排序数据大小超过sort_buffer_size时写入磁盘文件排序,当排序数据小于sort_buffer_size时只使用内存排序就足够。除了上面介绍到的sort_buffer_size和max_length_for_sort_data外,read_rnd_buffer_size、max_sort_length在某些场景下也会影响到排序的表现。这里是 456 个临时文件,是0时,代表未使用磁盘临时文件排序。
2024-08-12 15:22:14
872
原创 DTCC 2024 | DBdoctor邀您参加第十五届中国数据库技术大会
我们将详细分析此方案在金融行业的实践落地,包括性能诊断平台的技术架构,业务流程,并通过具体的疑难案例对比,展示该创新方案解决复杂问题的能力、当前已实现的功能,以及其在更广泛领域的应用前景。作为顶级的数据库领域技术盛会,DTCC2024将继续秉承一贯的干货分享和最佳实践砥砺前行,紧跟时代步伐,引领前沿技术,为广大数据领域从业人士提供一场年度的饕餮盛宴。本次大会将围绕数据库内核技术、向量数据库、分布式数据库、云原生数据库等前沿领域展开深入探讨,为参会者揭示未来数据库技术的发展方向。
2024-08-05 09:39:17
508
原创 一条执行24s的SQL竟产生7小时数据延时,数据库高可用做了个寂寞
数字时代,数据是企业的核心资产。为了确保企业应用程序的连续性和可靠性,数据库高可用性变得尤为重要。
2024-07-31 10:07:49
586
原创 一个接口未做超时处理,引发数据库hang了
偶尔的一条未提交事务在线上可能不会造成业务异常,但如果哪天需要对涉及该事物的表做DDL变更,那么可能引发故障(未提交事务占用了元数据锁,会导致涉及该表的所有SQL被阻塞)。使用DBdoctor纳管实例后,会对该实例实时主动诊断(包含未提交事务),我们可以在实例诊断->锁透视->未提交事务tab页中进行列表查看,点击指定未提交事务『查看事务详情』,即可通过泳道图的形式慢动作回放事务SQL的完整执行过程。这些操作通常需要较长时间才能完成,在整个过程中,事务保持未提交状态,直到所有操作完成并且事务提交。
2024-07-31 10:03:15
962
原创 还在用JVM跑你的Java代码吗?太慢了,试试Oracle的GraalVM吧
GraalVM Native Image技术为 Java应用带来快速启动和低资源消耗的优势
2024-07-29 09:54:59
1165
原创 100%中奖!DBdoctor有奖招募『SQL审核』体验官
如果您想要试用全部功能可添加公众号自助申请专业版license。成为企业用户可获得产品定制、OpenAPI集成、一对一专家等高阶服务。欢迎添加小助手微信了解详细信息!DBdoctor是一款企业级数据库全方位性能监控与诊断平台,致力于解决一切数据库性能问题。可以对商业数据库、开源数据库、国产数据库进行统一性能诊断。等免费功能,不限实例个数,可基于长久免费版快速搭建企业级数据库监控诊断平台。等高阶功能,官网可快速下载,零依赖,一分钟快速一键部署。
2024-07-18 16:57:21
212
原创 第13届PG大会精彩演讲『DBdoctor,基于eBPF的数据库性能可观测解决方案 』(附PPT和视频下载)
eBPF的探测功能实现比较简单,难点适配成本比较高,需要确认源码探测的函数高低频、内核kernel版本、ARM CPU架构、数据库源码小版本等多种因素,比如PostgreSQL的小版本有400+个版本,工作量非常大。采集探测数据库SQL的完整执行过程,采集资源消耗、锁事件、事务维度的全量SQL、Cost统计信息等更细粒度的数据,实现性能问题可量化,精准定位问题根因SQL,并提供最佳优化建议。作为在数据库技术领域,率先掌握前沿eBPF技术的企业,7月13日上午,DBdoctor产品负责人。
2024-07-15 13:58:47
1106
原创 eBPF实战教程五|如何使用USDT探针定位MySQL异常访问(含源码)
如何手码eBPF程序探测MySQL5.6 USDT,来实时识别数据库可疑的连接访问来源(user/host)。
2024-07-09 16:53:19
1157
原创 SQLServer用户们,你们摊上大事了!
在SQL关联分析中,针对该CPU异常SQL,点击查看执行计划,发现该表缺失索引,执行CREATE INDEX IX_tempdb_ProductID ON master.dbo.tempdb (ProductID) 添加索引问题解决。SQLServer具备企业级的SQL审核能力,支持SQL文件上传批量审核,在开发阶段即可完成SQL审核,提前识别SQL问题,同时针对线上存量SQL也可以实时抓取进行审核。的存储分析,基于已训练预测模型,实时展示未来一周的磁盘趋势,并根据数据、日志、临时表文件等的存储事件进行。
2024-07-09 16:34:30
913
原创 DBdoctor v3.2.2 版本发布,支持对sqlserver、vastbase的纳管!
DBdoctor 3.2.2版本新增PgSQL的索引推荐及性能审核功能;拓展了oracle的纳管版本并支持纳管oracle rac;新增对sqlserver、vastbase数据库的纳管支持;修复了体验官活动中大家提出的一系列体验问题。
2024-07-03 11:27:41
619
原创 OtterTune dead,参数调优还有DBdoctor
较大的一个点是国外软件比较聚焦,反观国内,很少有聚焦在一个领域的数据库生态软件,几乎都是从云管平台开始做起,大一统的软件,看起来什么都有,细看发现哪一块都不突出。DBdoctor的自动参数调优已在内测阶段,我们从OtterTune的源码和商业化产品里学到了很多宝贵的经验,两位AI博士基于OtterTune的框架理念,对其中的算法进行了一系列替换与调优,通过海信数万数据库实例的持续验证与学习,目前算法已达到较好的工程落地效果。等高阶功能,官网可快速下载,零依赖,一分钟快速一键部署。
2024-07-03 11:14:42
978
原创 政企单位催促我们支持的引擎,猜猜是哪家?
最近看欧洲杯的小伙伴有没有发现围挡上的大中文,“海信电视,中国第一,不止于世界第二”,尤其在国外,看到还是无比自豪的。其实海信除了在家电行业家喻户晓,在智能交通、智慧政务、智慧医疗、能源、通信、地产等行业都有较大市场占有率。交流过程中不断有政务口的项目负责人问DBdoctor是否支持瀚高,尤其是山东省内,瀚高占有率还是非常高的。今天从开发、测试、DBA视角看看,瀚高的小伙伴都关注哪些问题。
2024-06-26 14:26:24
887
原创 跑路代码已上线,坐等删库中~
或许大家会认为删库跑路都是运维或者DBA的事情,或许认为我没有线上数据库权限就不可能删库跑路。但是事实并非如此,建议大家仔细阅读此文章,赶紧排查下您的代码,很可能隐藏着这种删库程序。还是要呼吁大家,这个案例大家不要学习!不要学习!不要学习!重要的事情说三遍。各位研发小伙伴们,你们是否也会经常遇到类似问题,因为执行了一条不当的SQL更新语句,就险些造成了灾难性的数据故障!
2024-06-26 13:46:59
714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅