DBA实战-CSDN博客

原创蓝屏风暴：Windows遭遇史上最大规模系统崩溃

**根本原因**：后端集群管理工作流程中的一项配置变更，意外地阻碍了Azure存储集群与美国中部区域计算资源之间的后端访问。- **直接后果**：计算资源在检测到与虚拟磁盘的连接丢失时自动重启，导致服务不稳定。- **缓解措施**：实施了针对所有Azure存储集群的紧急补救措施，以恢复服务。- **系统改进**：评估并增强自动化重启逻辑，优化配置变更的测试和部署流程。- **彻底调查**：深入分析根本原因，防止未来再次发生类似事件。- **客户服务**：与受影响客户沟通，提供必要的支持和补偿措施。

2024-07-19 16:00:10 369

原创从零开始学PostgreSQL (四)：数据库角色

目录1、概述2、数据库角色与属性3、预定义角色4、角色成员资格5、删除角色6、注意事项7、总结概述在 PostgreSQL 中，角色（Roles）是用来管理数据库访问权限的一种机制。一个角色可以被认为是一个用户或一组用户。角色可以拥有数据库对象（如表、视图、函数等）并控制其他角色对这些对象的访问权限。角色的主要属性包括：登录能力：角色是否可以作为用户来登录数据库。创建数据库：角色是否可以创建新的数...

2024-07-18 07:31:45 820

原创从零开始学PostgreSQL (三)：索引篇

目录1、索引类型2、多列索引3、索引和ORDER BY4、组合多个索引5、唯一索引6、表达式的索引7、部分索引8、索引扫描和覆盖索引9、检查和优化索引的使用情况10、索引的选择和使用索引类型B-tree 索引：适用场景：范围查询、等值查询、排序操作。特点：适用于大部分查询场景，是 PostgreSQL 默认的索引类型。哈希索引：适用场景：等值查询，对于频繁的等值查询有性能优势。特点：不支持范围查询...

2024-07-18 07:30:00 968

原创从零开始学PostgreSQL (二)：配置文件

文章目录1、postgresql配置文件概览2、postgresql.conf详解3、pg_hba.conf详解4、pg_ident.conf详解5、线上需要调整的参数6、总结PostgreSQL 配置文件概览PostgreSQL 使用三个主要的配置文件来控制服务器的行为、网络访问和用户映射。下面是对这三个文件的详细介绍：1.postgresql.conf这是 PostgreSQL 的主配置文件...

2024-07-16 07:31:01 890

原创从零开始学PostgreSQL (一)：Centos8 RPM安装PostgreSQL16

下载安装包https://www.postgresql.org/download/选择对应版本安装#yum源yum -y install wget https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm#禁用内置的PostgreSQL模块：yum...

2024-07-15 07:31:24 371

原创 MySql数据库性能诊断工具Mysqltuner.pl

简介MySQLTuner-perl一个常用的数据库性能诊断工具，主要检查参数设置的合理性包括日志文件、存储引擎、安全建议及性能分析。针对潜在的问题，给出改进的建议，是mysql优化的好帮手。功能概述1. 性能分析: 分析MySQL服务器的各种性能指标，包括但不限于查询缓存命中率、索引利用率、连接数、线程缓存等。2.建议优化:根据分析结果，提供优化建议，如调整MySQL服务器的配置参数，以改...

2024-07-10 07:30:32 804

原创 PostgreSQL 索引类型详解

索引类型B-tree 索引：适用场景：范围查询、等值查询、排序操作。特点：适用于大部分查询场景，是 PostgreSQL 默认的索引类型。哈希索引：适用场景：等值查询，对于频繁的等值查询有性能优势。特点：不支持范围查询和排序操作，大小写敏感。GIN 索引：适用场景：全文搜索、数组包含查询、JSONB 数据类型查询。特点：支持对复杂查询条件的优化，如使用数组和 JSONB 类型的数据。GiST 索引...

2024-07-08 07:30:16 792

原创 B站、小红书“崩”了！阿里云紧急回应

7月2日，“B站崩了”“小红书崩了”冲上微博热搜！据悉，“崩了”的原因是阿里云上海服务出现异常。B站App无法使用浏览历史关注等内容，消息界面、更新界面、客服界面均不可用，用户也无法评论和发弹幕，视频评论区和用户(UP主)主页都无法加载。有网友反映小红书内容无法刷新。不少网友反映“小红书崩了”，刷新不出推荐内容。

2024-07-02 16:45:44 193

原创 MySQL 9.0 风云再起：全面解析最新创新版发布！

MySQL 9.0.0 变更（2024-07-01，创新版本）删除参数身份验证在 MySQL 8.0 中弃用的插件已被删除，并且服务器不再接受来自不具备相应能力的旧客户端程序的认证请求。为了向后兼容，MySQL 客户端仍然保留了一种方式，即将客户端端内建的认证插件转换为动态可加载的插件。在 MySQL 8.0 中，默认的认证插件已更改为 caching_sha2_password（详见 Cach...

2024-07-02 14:10:20 1161 1

原创免费版Navicat Premium Lite 17最新发布

在数据库管理工具的领域中，Navicat 一直备受青睐。其中，Navicat Premium Lite 17 免费版的推出为许多用户提供了便利。下面我们来详细探讨一下免费版和破解版的优劣势、功能差异以及所支持的数据库类型等方面。一、免费版的优势合法合规：使用免费版完全符合软件的使用许可和法律法规，无需担心潜在的法律风险。稳定可靠：由官方提供支持和维护，保证了软件的稳定性和可靠性，减少出现...

2024-07-01 07:31:00 347

原创深度解析：Percona XtraBackup8 MySql备份工具！

介绍Percona XtraBackup 是一款开源的备份工具，专为 MySQL 及其分支（如 Percona Server 和 MariaDB）数据库设计。它允许在不中断数据库操作的情况下执行热备份，确保数据的一致性和可恢复性，支持全量与增量，流式备份等。工作原理1、基于InnoDB崩溃恢复功能XtraBackup 复制InnoDB数据文件，这会导致数据内部不一致，但随后它对文件执行崩溃恢复，使...

2024-06-25 07:30:12 867

原创 ClickHouse 24.5.3：全面解析与RPM单节点轻松部署！

简介 ClickHouse是由俄罗斯的Yandex公司开发的开源列式数据库管理系统。它最早于2016年开源，主要用于实时数据分析。ClickHouse通过列存储、向量化执行、并行计算等技术，实现了对大规模数据集的快速查询和分析，特别适合实时数据分析和商业智能需求。ClickHouse的特点列式存储：ClickHouse采用列式存储，能够在查询时只读取相关列的数据，从而提高查询速度，减少I/O开...

2024-06-21 07:33:16 941

原创 MyDumper：秒杀Mysqldump的MySQL多线程备份神器！

MyDumper 是一个高性能的 MySQL 备份工具，由 MySQL 社区开发。它旨在克服 mysqldump 的一些性能限制，特别是对于大规模数据备份和恢复，MyDumper 通过多线程操作大幅提高了备份和恢复的速度。适用场景大规模数据备份：MyDumper 适用于备份包含大量数据的大型数据库。高效恢复：MyDumper 提供了高效的数据恢复工具 myloader，可以快速将数据导入数...

2024-06-18 07:30:47 870

原创揭秘MySQL 8.4新版备份利器：全面解读Mysqldump参数与实战技巧

简介 MysqlDump是MySQL数据库管理系统提供的一个实用工具，用于创建数据库的逻辑备份。它通过生成 SQL 脚本文件，将数据库中的数据和结构导出，以便进行备份和恢复。这个工具非常适用于需要迁移数据库、备份数据、或者将数据库内容导出为 SQL 文件的场景。工作原理MysqlDump的工作原理如下：连接数据库：mysqldump通过指定的用户凭证连接到 MySQL 服务器。锁定表：为了保...

2024-06-14 07:30:38 473

原创玩转云端监控：腾讯云云监控无缝对接自建Prometheus

部分客户在云下已有完善的企业IT管理系统，希望能够将云上数据实时导出到线下进行统一监控。基于该场景，云监控推出了监控数据实时导出工具。该工具可以在客户的线下运行，根据配置实时获取云监控的监控数据，并持续写入本地Prometheus方案优势支持云监控里的部分云服务更快更实时的基于企业云监控的实时数据导出功能流式导出监控数据，无需担心数据丢失的异常情况，更不用担心API调用次数限制和流控问题...

2024-06-13 07:24:27 985

原创 Mongodb Delete与TTL索引删除数据磁盘不释放

简介在使用MongoDB时，我们经常需要删除过期或不再需要的数据，以保证数据库的性能和存储效率。MongoDB提供了多种删除数据的方法，包括普通的删除操作（delete）和TTL（Time-To-Live）索引。虽然这两种方法都能从逻辑上删除数据，但它们在磁盘空间管理上的表现却并不相同。删除操作的基本原理无论是通过delete命令还是TTL索引，MongoDB删除数据的过程都包括以下几个...

2024-06-11 07:23:18 848

原创深度解析Percona Toolkit工具集

介绍 Percona Toolkit是一套专业的MySQL和MariaDB数据库管理工具，涵盖了从性能优化到数据同步和备份恢复的多个方面。本文将深入探讨Percona Toolkit工具集的核心功能和使用场景，帮助你更好地理解和利用这些强大的数据库工具。主要功能和用途性能优化和分析:l使用pt-query-digest分析慢查询，优化数据库性能。l使用pt-index-usage检查和...

2024-06-04 07:30:23 473

原创 Elasticsearch 7.16 强势升级至 8.13.4，引爆数据革命新纪元之详细版

简介 Elasticsearch是一个强大的搜索和分析引擎，随着新版本的发布，升级是保持系统性能和安全性的关键。将Elasticsearch从7.16升级到8.13.4是一个复杂且关键的过程，涉及多方面的准备和实施步骤。准备工作备份数据在进行任何升级操作之前，务必对现有的 Elasticsearch 数据进行全量备份。可以使用 Elasticsearch 的 Snapshot...

2024-06-03 07:30:17 1074

原创 MySQL 索引完全指南：提升性能的黄金法则与终极技巧

简介在数据库设计和优化中，索引是提高查询性能的重要工具。本文将详细介绍 MySQL 索引的基本概念、创建索引的规则、最佳实践以及注意事项，帮助你更好地利用索引优化数据库性能。什么是索引？索引是一种数据结构，用于快速查找数据库表中的特定行。索引的作用类似于书籍的目录，通过索引可以加速查询速度。常见的索引类型包括 B-Tree 索引、哈希索引、全文索引和空间索引。索引的类型B-Tree ...

2024-05-30 07:30:17 999

原创 Elasticsearch 7.16 强势升级至 8.13.4，引爆数据革命新纪元！

简介 Elasticsearch是一个强大的搜索和分析引擎，随着新版本的发布，升级是保持系统性能和安全性的关键。将Elasticsearch从7.16升级到8.13.4是一个复杂且关键的过程，涉及多方面的准备和实施步骤。准备工作备份数据在进行任何升级操作之前，务必对现有的 Elasticsearch 数据进行全量备份。可以使用 Elasticsearch 的 Snapshot...

2024-05-27 07:31:01 1170

原创轻松搞定！MySQL 8.4 RPM 部署指南

简介MySQL 8.4是一个稳定和高性能的关系型数据库管理系统，支持各种操作系统平台，包括Linux、Windows和macOS。部署MySQL 8.4通常包括安装、配置、优化和测试等步骤，此处详细介绍通过rpm包安装Mysql 8.4 lts版本。安装步骤MySQL 8.0 及以上版本8.4可以通过官方的 RPM 包进行安装和管理。以下是在 CentOS8 系统上部署 MySQL 8.4 的基本...

2024-05-27 07:31:00 530

原创数据迁移利器登场！Elasticdumpv6.110震撼发布，助你轻松搬迁大数据！

简介 Elasticdump 是一个用于导出和导入 Elasticsearch 数据的工具。它能够从一个 Elasticsearch 集群读取数据并写入到另一个 Elasticsearch 集群、文件系统或其他数据存储（例如 S3）。这个工具非常有用，特别是在进行数据迁移、备份和恢复操作时。elasticdump 支持多种数据类型，包括索引数据、设置、映射、模板、别名等。安装wget ht...

2024-05-24 07:30:29 392 1

原创震撼揭秘：线上MongoDB慢查询终极优化实战解析

背景研发反馈指出，线上某个页面的响应速度异常缓慢，达到了16秒，严重影响了业务的正常运行。经过与研发的沟通得知，该页面调用的数据集合只会保留7天的数据，集合有6000万条记录。针对过期数据的处理，使用了根据 create_time 字段创建的过期索引，以自动使数据失效。此外，数据集合还通过 company_id 字段进行了哈希分片。问题排查慢语句分析在后台拿到了慢查询语句，如下：db.vi...

2024-05-22 07:31:08 767

原创 MySQL查询表显示“doesn‘t exist“错误？不要惊慌，让我带你揭开解决之谜！

背景上周有朋友反馈线上Mysql5.7数据库查询 audit_log表出现doesn't exist，查询不到任何数据，其他表都正常。他也不想删库重做，这种问题要怎么修复？问题分析查询audit_log表出现doesn't exist现象，一般都是数据损坏。首先排查了mysql的数据目录，发现audit_log表的frm文件没有了。接下来做了数据修复REPAIR TABLE...

2024-05-20 07:30:52 908

原创数据驱动世界：开源数据库工具大合集

在现代数据驱动的世界中，数据集成工具变得至关重要。以下介绍几款神级开源数据集成工具，它们在不同场景下提供了强大的数据迁移、同步和管理能力。1. RedisShake简介：RedisShake是阿里云开源的迁移工具，用于Redis数据迁移和同步的工具，支持单机，主从，哨兵和集群数据增量和全量数据传输。优点：支持全量和增量数据同步，适合不同场景。高性能，适合大数据量的传输。支持不同版...

2024-05-16 07:30:21 1145

原创 MongoShake：数据迁移之王，MongoDB领域的绝对霸主，让数据轻松穿梭无边界！

简介 MongoShake 是一个用于 MongoDB 数据库的数据复制工具，它可以实现 MongoDB 数据库之间的数据同步、迁移和备份。以下是 MongoShake 的主要作用：数据同步：MongoShake 可以将一个 MongoDB 数据库中的数据实时同步到另一个 MongoDB 数据库，保持数据的一致性。这对于构建多数据中心架构、实现高可用性和灾难恢复非常有用。数据迁移：Mong...

2024-05-14 07:30:49 683

原创 Archery 页面配置大揭秘：解锁高效运维新境界！

ArcherySQL审核平台是一款针对数据库审计和管理的全面解决方案，旨在帮助用户提高数据库的安全性、合规性和性能。该平台提供了丰富的功能和工具，使用户能够轻松地管理数据库，并实施审计、监控和访问控制。以下是 ArcherySQL 审核平台的主要特点和功能：综合审计功能：ArcherySQL 提供全面的审计功能，能够记录数据库中的所有操作，包括查询、更新、删除等，以便进行安全审计和合规性检查。实时...

2024-05-13 07:30:28 345

原创 Mongodb分片集合限制，导致一次上线紧急回滚

背景 MongoDB 集群分片中某个节点的磁盘使用率已经达到了 75%，发现一个名为 "visitor" 的集合数据量已经达到了 20 多亿条，占用了 260GB 的磁盘空间。我与研发团队讨论后决定清理数据，需要保留最近半年的数据，但是时间字段没有索引。因此采用的方案是新建新的集合、createTime字段添加索引、同时开启集合分片，使用阿里云DTS实时将数据同步到新的集合，然后研发修改代码...

2024-05-11 07:30:22 804

原创 MySQL 8.4: 突破创新，全新特性揭秘

MySQL最新发布的MySQL8.4LTS,"LTS" 代表 "Long-Term Support"（长期支持），是软件行业常用的术语之一。在软件开发中，LTS 版本是指那些经过特别维护并提供长期支持的版本。通常，LTS 版本会获得更长时间的更新和安全补丁支持，以确保它们能够在较长的时间内保持稳定和可靠。对于 MySQL 来说，发布 LTS 版本意味着这个版本将会得到更长时间的...

2024-05-09 08:02:19 2158

原创深入解析 MongoDB 中的 renameCollection 操作：不同版本中的风险与影响

在 MongoDB 中，renameCollection 操作用于将一个集合重命名为另一个名称。虽然这看起来是一个简单的操作，但在不同版本的 MongoDB 中，renameCollection 有一些重大的变化和注意事项。本文将深入探讨在不同版本的 MongoDB 中执行 renameCollection 操作时需要考虑的方面。MongoDB 3.4 版本renameCollectio...

2024-05-08 11:10:19 413

原创绝对必备：MySQL数据库开发的完整规范指南

在进行MySQL数据库开发时，遵循一定的规范和最佳实践可以确保代码的可维护性、可扩展性和性能，从而确保数据库系统的稳定运行和长期发展。以下是MySQL数据库开发的几个关键规范：一、基础规范存储引擎非特殊情况使用InnoDB，使用其他存储引擎需申请。统一采用utf8mb4字符集。统一字符集可以避免由于字符集转换产生的乱码。绝不能使用test作为库名。对于图像类、文档类存储，建议在MySQ...

2024-05-07 08:00:51 456

原创 Mongo集合20亿数据没有索引，如何清除历史数据？

我立即对该节点的数据库和集合进行了空间分析，发现一个名为 "visitor" 的集合数据量已经达到了 20 多亿条，占用了 260GB 的磁盘空间。然而，我们面临一个尴尬的问题：时间字段没有索引！粗浅地将脚本写完后，进行了简单测试，发现没有索引，查询一天的数据太久，这种方式周期太长，工作量也较大，数据准确性存在较大风险。夜深人静的时候悄悄地把createTime字段后台模式添加索引，综合业务场景（AI客服）、配置（8C16G）、库涉及的业务等,此方案可能会把数据库整崩溃，风险极大，不采用。

2024-04-29 11:12:14 181

原创 2023年图灵奖揭晓，你怎么看？

在计算复杂性理论方面，Wigderson的工作帮助我们更好地理解计算问题的复杂性，探索了算法和计算资源之间的关系，推动了理论计算机科学领域的发展。他的贡献促进了对NP难题、P与NP问题等重要问题的理解，为计算机科学的基础研究提供了重要的理论支持。同时，Wigderson对随机性和伪随机性在计算中的作用有着深入的理解，并将其应用于实际问题中，为计算机科学的实际应用提供了重要的理论基础。因此，Avi Wigderson获得2023年图灵奖是实至名归的，他的贡献将继续为计算机科学领域的发展提供重要的指导和启示。

2024-04-23 17:24:14 302

原创欢迎加入我的微信技术交流群！

很高兴能邀请大家加入这个技术交流群。我们的成员来自不同的公司，但都是技术领域的专业人士，包括前后端研发、运维、运维开发、测试和数据库、大数据、网路安全、ETL等领域。我们希望在这里可以分享技术经验，解决工作中遇到的问题，促进彼此的成长和学习。这个群的初衷是为了促进技术交流，欢迎大家踊跃参与讨论，共同进步。

2024-04-23 17:01:22 430 1

原创 DataX 异构数据迁移工具：实现 Web 页面轻松操作

简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过...

2024-04-22 11:29:02 260

原创详解Redis 迁移工具redis-shark4

简介RedisShake 是一个用于处理和迁移 Redis 数据的工具，它提供以下特性：Redis 兼容性：RedisShake 兼容从 2.8 到 7.2 的 Redis 版本，并支持各种部署方式，包括单机，主从，哨兵和集群。云服务兼容性：RedisShake 与主流云服务提供商提供的流行 Redis-like 数据库无缝工作，包括但不限于：阿里云-云数据库 Redis 版阿里云-云原生内存数据...

2024-04-19 08:01:30 1278

原创程序员35岁会失业吗？

35岁并不是职业生涯的终点，程序员可以通过不断拓展自己的技能和经验，找到适合自己的发展路径。35岁并不是职业生涯的终点，程序员可以通过不断拓展自己的技能和经验，找到适合自己的发展路径。虽然一些公司可能存在对年龄的歧视，但也有许多公司重视经验丰富的资深程序员，并愿意提供相应的机会和待遇。不断提升自己的技能，积累经验，适应行业变化，是保持竞争力的关键总的来说，35岁并不意味着失业风险增加，关键在于个人的学习能力、职业规划和选择适合自己的发展方向。不断提升自己的技能，积累经验，适应行业变化，是保持竞争力的关键。

2024-03-29 10:38:38 173

空空如也

空空如也