每个DBA都应该知道：进行数据库优化的方法

于 2023-06-12 09:38:06 发布
阅读量511 收藏 1
点赞数
分类专栏： 技术专栏 文章标签： 数据库 dba 数据库架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48804451/article/details/131125109
版权
文章讨论了数据库管理员(DBA)如何应对性能挑战，强调了编写高效SQL和优化数据库设计的重要性。创建适当的索引是提升性能的关键，而数据库重组则能解决因数据修改导致的混乱，影响查询速度。DBA需要考虑索引对查询和更新操作的影响，并利用重组工具来维护数据库的物理结构。此外，文中还提到了其他数据库调优技术，如分区、压缩和I/O管理。
摘要由CSDN通过智能技术生成

优化操作数据库及其访问应用的性能是数据库管理员（DBA）持续进行的挑战。当然，编写高效的SQL是确保数据库优化性能的最重要方面，但是对SQL的调整或系统的调优都无法优化针对设计不良或组织混乱的数据库运行的查询的性能。因此，必须花时间对数据库对象的设计、参数和物理结构进行调优和优化，特别是对表和索引以及存储它们数据的文件。如果数据库效率降低，必须不断监控数据库对象的实际组成和结构，并相应地进行变更。

为了应用适当的数据库优化技术，DBA必须对DBMS的许多方面有所了解。尽管可能名称不同，但大多数主要的DBMS都支持以下做法。以下每种技术都可以用于调优数据库性能：

  • 分区 - 将单个数据库表分割成多个文件中的部分 

  • 原始分区与文件系统 - 选择是否将数据库数据存储在操作系统控制的文件中 

  • 索引 - 选择合适的索引和选项以实现高效的查询 

  • 反规范化 - 从逻辑设计中变化以获得更好的查询性能 

  • 聚类 - 强制磁盘上数据的物理顺序 

  • 交织数据 - 将多个表的数据合并到单个顺序文件中 

  • 空闲空间 - 留出数据增长的空间 

  • 压缩 - 通过算法减少存储要求 

  • 文件放置和分配 - 将正确的文件放在正确的位置 

  • 页大小 - 使用适当的页大小（或块大小）进行高效的数据存储和I/O 

最低0.47元/天 解锁文章
沃趣数据库管理平台
关注
专栏目录
博客
使用 Kafka 和 CDC 将数据从 MongoDB Atlas 流式传输到 SingleStore Kai
01-05 1124
在本文中，我们将了解如何将 Apache Kafka 代理连接到 MongoDB Atlas，然后使用 CDC 解决方案将数据从 MongoDB Atlas 流式传输到 SingleStore Kai。我们还使用 Metabase 创建了一个快速的可视化仪表板，以帮助我们深入了解我们的广告活动。为了演示 CDC 解决方案，我们将使用Kafka 代理将数据流式传输到 MongoDB Atlas 集群，然后使用 CDC 管道将数据从 MongoDB Atlas 传播到 SingleStore Kai。
博客
如何在 C# 12 中使用主构造函数
01-05 1257
C# 12 中的主构造函数可用于类和结构以及记录类型。以下是它们如何使您的代码更干净、更简洁。
博客
Kubernetes Gateway API V1.0：您应该切换吗？
01-04 1221
与 Ingress API 不同，Gateway API 是多个 API（HTTPRoute、Gateway、GatewayClass 等）的集合，每个 API 满足不同的组织角色。因此，如果您重新开始并在 Ingress 和 Gateway API 之间进行选择，如果您选择的 API 和实现支持您想要的所有功能，我建议您选择 Gateway API。去年，当网关 API升级为测试版时，我曾写过有关该 API的文章，但一年后，问题仍然存在。即，API 为自定义扩展留有空间，同时确保其遵循标准。
博客
探索 OceanBase 中图数据的实现
01-04 1113
虽然 Neo4j 等成熟的图形数据库为处理图形数据提供了强大的解决方案，但将图形数据集成到 SQL 数据库中的想法提供了值得探索的潜在优势。从积极的一面来看，邻接表模型被证明是可以实现的，并且基本的图操作（例如 BFS 和识别高频事务对）可以高效运行。有趣的是，阿里巴巴团队在 2019 年进行的一项研究展示了关系数据库在针对 100 亿规模的海量图数据集实现图数据方面的性能。这种灵活的结构使图数据能够以高度保真度对复杂的关系和复杂的系统进行建模，使其成为从社交网络分析到供应链管理等各个领域的强大工具。
博客
架构模式：分片
01-03 1583
分片是管理大规模数据库的有效架构模式。分片是一种数据库架构模式，涉及将数据库划分为更小、更快、更易于管理的部分，称为分片。例如，在 Web 应用程序中，用户身份验证数据可以存储在一个分片中，而用户活动日志存储在另一个分片中，从而优化频繁访问的表的性能。描述：水平分片，也称为数据分片，涉及将数据库表划分到多个数据库或数据库实例。每个分片包含相同的表模式，但保存不同的数据子集，通常根据分片键进行分割。此方法通常用于将数据库分成更小、更易于管理的部分，每个分片专用于与应用程序的特定方面相关的特定表或表组。
博客
以 Serverfull 方式运行无服务器服务
01-03 544
通常，在 Kumologica 上构建的应用程序专注于无服务器计算，例如 AWS Lambda、Azure 函数或 Google 函数，但在这里我们将构建与在容器内运行的 NodeJS Express 应用程序非常相似的服务。要对流程进行 docker 化，请打开项目文件夹，并将以下Docker 文件放置在根项目文件夹中（与 package.json 处于同一级别）。要构建映像，请转到项目文件夹的根目录，然后从 Windows 中的命令行或 Mac 中的终端运行以下命令。让我们将其docker化。
博客
Gen-AI 的知识图和分析（无需图数据库）
01-02 1191
由于目前正在发生的人工智能革命，工程师们正在考虑围绕 Gen-AI 的机会，利用具有动态提示、数据基础和屏蔽功能的开放 Gen-AI 解决方案，这进一步促使他们思考知识图谱等有效的解决方案。原生图形分析引擎是一种新范例，我们可以直接实现图形查询以及现有关系/SQL 数据的可视化，而无需在中间使用图形数据库，并且仍然可以利用我们从图形和传统分析方法中获得的所有优势。它们由顶点（节点）和连接这些顶点的边（关系）组成，可以是有向的或无向的、加权的或不加权的。它有助于理解、可视化复杂的关系并从中得出有意义的见解。
博客
在 Oracle 数据库表中加载多个数据文件
01-02 1078
因此，最好的选择是让包含 SQL 加载命令的 Unix 程序始终运行。在本文中，我将展示 SQL 加载器 + Unix 脚本实用程序的强大功能，其中 SQL 加载器可以使用自动 shell 脚本加载多个数据文件。7、现在我再次删除表数据，只是为了证明脚本始终在服务器中运行，我将仅将两个 DAT 文件从 ARCHIVE 放置到当前目录。在新系统中，服务器文件可用，并将使用自动化 Unix 脚本加载到数据库中。5、现在脚本将运行，它将通过 SQL 加载器加载两个 .dat 文件。
博客
实时数据库迁移
12-29 802
在本文中，详细了解数据库迁移——将数据从一个数据库系统传输到另一个数据库系统的过程。
博客
PostgreSQL 作为向量数据库：入门和扩展
12-29 3333
本指南将深入研究该特定模式在应用程序中的实现。然而，由于搜索是近似的，搜索的召回率可能不是 100% 相关/准确，因为索引仅遍历数据的子集。它允许您存储和处理具有数千个维度的向量，计算向量化数据之间的欧几里德距离和余弦距离，并执行精确和近似最近邻搜索。为了在数据量和流量不断增加的情况下保持 Postgres 的性能和可扩展性，您可以使用矢量化数据的专用索引和/或使用Postgres 的分布式版本水平扩展存储和计算资源。数据库需要几毫秒的时间来执行精确的最近邻搜索，比较用户提示和 Airbnb 描述的嵌入。
博客
当 ML 遇到 DevOps：如何理解 MLOps
12-28 1245
本文介绍如何集成机器学习和 DevOps、管理模型、最佳实践和成功的解决方案。
博客
使用 HarperDB SDK for Java 简化数据库操作
12-28 1107
在后续部分中，我们将探索实际的代码示例，以说明这些类在实际场景中的用法，展示 HarperDB SDK for Java 的简单性和强大功能。当你开始使用HarperDB和Java的旅程时，要记住这个SDK赋予了开发者力量，提供了一个强大而高效的桥梁，连接Java应用程序和HarperDB的NoSQL功能。和Server类Template是 HarperDB SDK for Java 的基本组件，提供了一个无缝接口，用于将 Java 应用程序与 HarperDB 的 NoSQL 数据库功能集成。
博客
2024 年软件工程将如何发展
12-27 1351
人工智能、数字孪生技术、平台工程和混沌工程正在改变软件开发，并为开发运营带来更高的自动化、生产力和弹性。
博客
迁移到云原生：如何使用微服务迁移应用程序
12-27 1418
这简化了与维护服务之间的远程过程调用所需的访问权限相关的复杂性，即使它们在不同的主机上运行。Node.js 的主要优势包括跨平台兼容性、使用单一编码语言 (JavaScript) 的便利性、JavaScript V8 引擎的强大功能、对快速部署和微服务开发的支持、高可扩展性、令人印象深刻的数据处理能力、活跃的开源社区、通过节点包管理器 (NPM) 提供的附加功能、高级托管功能和快速数据流。事实证明，在过渡期间解耦紧密互连的元素具有挑战性，虽然代码库的年龄和大小是耦合问题的潜在指标，但它们并不是确定的。
博客
生成式人工智能充满奇迹的一年
12-26 975
这是人工智能令人眼花缭乱的进步一年中的 10 个怪癖、后果和问题。
博客
修复 MySQL 数据库的终极指南
12-26 2207
如果 MySQL（单个多线程程序）由于磁盘故障或任何应用程序级问题而在写入操作过程中突然终止或终止，则可能会导致数据库损坏。如果您尚未创建任何备份或备份已过时，请使用mysqlcheck命令检查并修复中的表MySQL 数据库。如果 MySQL 服务器由于突然断电或任何其他原因而发生故障，则可能会扰乱数据完整性，从而导致损坏。在本指南中，我们将介绍MySQL 数据库损坏的原因，并提及一些快速修复数据库的有效解决方案。当数据库损坏时，DBA 面临的最大挑战是避免停机，因为这可能会导致生产力和业务损失。
博客
如何使用队列处理 API 速率限制
12-25 866
在构建健壮的架构时，用于与受速率限制的外部 API 交互的服务或应用程序通常会异步处理任务。当服务遇到速率限制时，它可以轻松地将作业返回到主队列或将其分配到指定用于延迟任务的单独队列，并在特定的等待时间（例如 X 秒）后重新访问它。借助 Memphis，您可以使用专门为此目的而设计的称为“延迟消息”的简单功能，将延迟从客户端转移到队列。当您的消费者应用程序需要额外的处理时间时，延迟消息允许您将收到的消息发送回代理。例如，如果需要 60 秒的延迟，它会精确配置该特定消息的不可见时间。更多技术干货请关注公号【
博客
加速 SQL 查询的 9 种方法
12-25 1454
如果您有足够的资源，并且您的数据库支持它，您可以使用内存表来进一步加快速度。例如，如果您需要循环遍历表并根据某些计算更改列，您可以获取要更新的候选数据，将其放入临时表中，使用游标循环遍历该表，然后应用所有在单个操作中更新。只要有可能，将对大表的查询合并为尽可能少的离散操作。例如，如果您有一个表，您想要先按一列查询，然后再按另一列查询，请首先将其合并到单个查询中，然后确保您要查询的列具有覆盖索引。例如，如果您将数据插入表中，然后使用UPDATE它来更改它，就像我刚才所示，那么这是两个单独的事务。
博客
cilium原理之ebpf尾调用与trace
12-22 1206
为了选择要跳转到哪个程序，尾调用使用了程序数组map（ BPF_MAP_TYPE_PROG_ARRAY），将map及其索引（index）传递给将要跳转到的程序。但如果给定的map索引中没有程序（无法跳转），执行会继续在原来的程序中执行。官方代码很清晰，需要注意的是：定义函数时，__section_tail(BPF_JMP_MAP_ID, 0)使用的是BPF_JMP_MAP_ID；特殊在于，由于函数的调用是由map来保存的，可以使用TC更新map对应的函数为新的函数，实现ebpf程序的局部更新。
博客
将遗留系统分解为微服务：第 2 部分
12-22 1517
想象一个场景，您有一个大规模的整体系统 - 可能是一个庞大的 C# 控制台应用程序或一个广泛的 SQL Server 存储过程。将复杂的单一报销计算系统迁移到微服务并将其部署在云中是一个变革性的步骤。这种方法不仅使系统现代化，而且在可扩展性、资源利用率和成本节约方面带来了显着的好处，使系统与现代云功能保持一致，并且业务目标。上面列出的服务是可以成为此类系统一部分的组件示例，它们可以通过 API 或消息队列相互交互以执行端到端报销流程。迁移到微服务的目标是将这个大型、复杂的系统分解为更小、更易于管理的组件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值