数据库优化 - 实例优化 #CSDN博文精选# #IT技术# #学习路线# #系统化学习# #数据库# #数据库优化#

于 2021-02-09 11:14:35 发布
阅读量234 收藏 1
点赞数
分类专栏： 放假不停学，全栈工程师养成记 文章标签： 数据库 CSDN博文精选 数据库优化 it技术
原文链接：http://javadaily.cn/articles/2019/11/18/1574040329451.html
版权

大家好，小C将继续与你们见面，带来精选的CSDN博文~

又到周一啦，上周的系统化学习专栏已经结束，我们总共一起学习了20篇文章，这周将开启全新专栏《放假不停学，全栈工程师养成记》

在这里，你将收获：

  • 将系统化学习理论运用于实践，系统学习IT技术
  • 学习内容涵盖数据库、软件测试、主流框架、领域驱动设计和第三方生态等，离全栈工程师更近一步
  • 精心整理的CSDN技术大咖博文，假期学习实现弯道超车

今天小C挑选的文章是有关于“数据库优化”的内容，如果感兴趣的话那就继续一起学习吧！

 

从网上去搜数据库优化基本都是从SQL层次进行优化的，很少有提及到数据库本身的实例优化。就算有也都是基于某个特定数据库的实例优化，本文涵盖目前市面上所有主流数据库的实例优化（Oralce、MySQL、POSTGRES、达梦）,按照文章的配置能够将你数据库性能用到80%或以上。

数据库优化方法论

这部分为理论知识，不感兴趣的同学可以直接跳到后面参数配置部分。

数据库优化目标

目标

根据角色的不同，数据库优化分为以下几个目标：

  • 业务角度（关键用户）：
    减少用户页面响应时间
  • 数据库角度（开发）：
    减少数据库SQL响应时间
  • 数据库服务器角度（运维）：
    充分使用数据库服务器物理资源
    减少数据库服务器CPU使用率
    减少数据库服务器IO使用率
    减少数据库服务器内存使用率

指标

  • SQL平均响应时间变短
    • 优化前：数据库平均响应时间500ms
    • 优化目标：数据库平均响应时间200ms
  • 数据库服务器CPU占用率变少
    • 优化前：数据库高峰期CPU使用率70%
    • 优化目标：数据库高峰期CPU使用率50%
  • 数据库服务器IO使用率变低
    • 优化前：数据库IO WAIT为30%
    • 优化目标：数据库IO WAIT低于10%

数据库优化误区

在进行数据库优化的时候可能会有以下几个误区：

  • 优化之前一定要深入了解数据库内部原理
    优化是有“套路”的，照着这些“套路”你也可以很好的完成数据库优化
  • 不断调整数据库参数就可以最终实现优化
    有时候设计不合理怎么调整参数都不行
  • 不断调整操作系统参数就可以最终实现优化
    同上
  • 数据库性能由应用、数据库架构决定，与应用开发关系不大
    恰恰相反，应用开发的关系很大
  • 必须要做读写分离，必须要弄分库分表
    数据量级只有达到一定的比例才有必要做读写分离，分表分库，否则徒增复杂度。一般来说Oracle的单表量级可以达到1亿，MySQL到1000万~2000万

数据库优化流程

完整的数据库优化流程如下：
image.png

首先需要尽可能的了解优化问题，收集问题期间系统信息并做好存档。根据当前系统问题表现制定优化目标并与客户沟通目标达成一致；通过一系列工具分析系统问题，制定优化方案，方案评审完成后由各负责人员进行实施。若达到优化目标则编写优化报告，否则需要重新制定优化方案。

数据库实例优化

数据库实例优化遵循三句口诀：日志不能小、缓存足够大、连接要够用。

数据库事务提交后需要将事务对数据页的修改刷（ fsync）到磁盘上，才能保证数据的持久性。这个刷盘，是一个随机写，性能较低，如果每次事务提交都要刷盘，会极大影响数据库的性能。数据库在架构设计中都会采用如下两个优化手法：

  • 先将事务写到日志文件RedoLog（WAL），将随机写优化成顺序写
  • 加一层缓存结构Buffer，将每次写优化成顺序写

所以日志跟缓存对数据库实例尤其重要。而连接如果不够用，数据库会直接抛出异常，系统无法访问。

数据库参数优化

主流数据库架构都有如下的共同点：

  • 数据缓存
  • SQL解析区
  • 排序内存
  • REDO及UNDO
  • 锁、LATCH、MUTEX
  • 监听及连接
  • 文件读写性能

接下来我们根据不同的数据库调整参数以使数据库达到最佳性能。

ORACLE

参数分类参数名参数值备注
数据缓存SGA_TAGET、MEMORY_TARGET物理内存70-80%越大越好
数据缓存DB_CACHE_SIZE物理内存70-80%越大越好
SQL解析SHARED_POOL_SIZE4-16G不建议设置过大
监听及连接PROCESSES、SESSIONS、OPEN_CURSORS根据业务需求设置一般为业务预估连接数的120%
其他SESSION_CACHED_CURSORS大于200软软解析

MYSQL（INNODB）

参数分类参数名参数值备注
数据缓存INNODB_BUFFER_POOL_SIZE物理内存50-80%一般来说越大性能越好
日志相关Innodb_log_buffer_size16-32M根据运行情况调整
日志相关sync_binlog1、100、01安全性最好
监听及连接max_connections根据业务情况调整可以预留一部分值
文件读写性能innodb_flush_log_at_trx_commit2安全和性能的折中考虑
其他wait_timeout，interactive_timeout28800避免应用连接定时中断

POSTGRES

参数分类参数名参数值备注
数据缓存SHARED_BUFFERS物理内存10-25% 
数据缓存CACHE_BUFFER_SIZE物理内存50-60% 
日志相关wal_buffer8-64M不建议设置过大过小
监听及连接max_connections根据业务情况调整一般为业务预估连接数的120%
其他maintenance_work_mem512M或更大 
其他work_mem8-16M原始配置1M过小
其他checkpoint_segments32或者更大 

达梦数据库

参数分类参数名参数值备注
数据缓存MEMROY_TARGET、MEMROY_POOL物理内存90% 
数据缓存BUFFER物理内存60%数据缓存
数据缓存MAX_BUFFER物理内存70%最大数据缓存
监听及连接max_sessions根据业务需求设置一般为业务预估连接数的120%

总结

数据库的优化手法太多太多，有换磁盘阵列升级硬件，有改写SQL脚本添加索引，还有数据库参数调整优化性能，甚至还可以调整数据库架构。本文从数据库本身参数进行调优，大家根据上面几张表中的参数进行调整基本能达到数据库最佳性能的80%。


作者：jianzh5
地址：http://javadaily.cn/articles/2019/11/18/1574040329451.html

 

关注高校俱乐部，更多精彩内容等着你

​

高校俱乐部
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
CSDN高校俱乐部招募啦，你还在等什么？
01-14 6万+
高校俱乐部招募啦！想成立组织的快看过来。什么是高校俱乐部？CSDN高校俱乐部是由CSDN发起，大学生自发加入的IT技术学习型组织。俱乐部至今已收到数百所高校成立技术社团的申请，已在全国100多所高校建立技术社团。我们的使命是提高高校学生的技术能力，为行业储备技术人才，为国家数字化战略贡献力量。我们的定位是聚焦高校IT技术爱好者，打造全国最大的高校技术社群。是通过构建系统化的内容和运营体系，将CSDN打造成大学生学习、成长和求职的活跃主阵地，形成规模最大的大学生动态简历库。1024程.
博客
第五届“马栏山杯”国际音视频算法大赛——文博AIGC创作大赛启幕！
07-30 141
第五届“马栏山杯”音视频算法大赛【文博AIGC创作赛】首次启幕，创新风暴席卷而来，我们邀您共赴一场科技与文化的跨界盛宴！在这里，AI不仅仅是工具，它是您手中绘制山海奇境的魔法笔。无论您是AI达人、设计高手,还是文化传播者，都能在这里找到绽放才华的机会!
博客
如何从0开始搭建一个大语言模型并进一步训练微调?
07-30 683
生成式AI技术已成为产业升级的新晋引擎，加速推动数字经济高速发展，开发者则需要快速掌握生成式 AI 技能，并熟练掌握领先的工具平台，在竞争激烈的技术变革时代脱颖而出，实现“技术躺赢”。知识增强类大语言模型作为生成式 AI 技术的代表，也是最早进入我们工作和生活的落地场景，随着国内外各个大语言基础模型的快速更新迭代，我们生活中都或多或少在接触着大语言模型，如你手机的语音助手，或者国内热门生成式AI工具，都是企业基于大语言模型的尝试，那么问题来了，如何从0开始搭建一个你自己的大语言模型呢？
博客
智启万象｜邀你探索开发者精彩活动
07-19 420
2024 Google 开发者大会报名火热进行中扫码立即报名！2024 Google 开发者大会作为内容合作方携手 SegmentFault 思否、51CTO 和 CSDN推出一系列精彩纷呈的活动邀请你一起探索！（排名不分先后）
博客
2024年“数据要素×”大赛季来袭广西分赛四大亮点抢先看
07-15 23
广西分赛在国家数据局、广西壮族自治区人民政府指导下，由广西壮族自治区大数据发展局主办，本次大赛立足广西资源禀赋和发展实际，以数据和场景需求为牵引，面向全国开门办赛，旨在以赛促用、以赛促研、以赛促改、以赛促合，孵化一批新场景，挖掘一批新项目，发现一批新人才，加快构建繁荣活跃、特色鲜明的广西数据要素发展生态，赋能经济社会高质量发展。个人开发者可单人参赛也可组队参赛。如前所述，广西分赛设置了三个赛题方向，因此，具备多元化项目经验的参赛团队，参加广西分赛可充分发挥优势，提高获奖可能性。且看数据君为读者一一道来。
博客
智启万象｜2024 Google 谷歌开发者大会邀你报名「畅享家」
07-12 243
大会入场资格不可转让，签到遵循一人一码、身份凭证和注册信息对应的原则，请妥善保存入场签到二维码和签到码，避免泄露。现场名额有限，门票发完即止，扫描下方图片中二维码即刻报名！你还可以于本篇推文下方留言“你最想向 Google 开发者大会提出的问题”，你的提问可能在现场被智播领航团解答哦！*仅出于确认身份，请填写与身份证件一致的姓名，并确认邮箱地址及联系电话准确无误。*仅出于确认身份，请填写与身份证件一致的姓名，并确认邮箱地址及联系电话准确无误。*你的最终报名结果，将通过邮件及短信的形式确认，请注意查收。
博客
2024 Google 谷歌开发者大会开启报名啦！
07-12 214
共同探索 Google 最新的开发者工具与技术。看到这里，是不是开始期待来到现场了呢？8 月 7 - 8 日，我们不见不散！8 月 7 日 - 8 日。助力高效创新，释放无限潜能。想要抢先一步找到官方剧透？来亲身体验这些精彩活动吧！了解大会更多精彩内容。
博客
新型IT运维管理，基础设施和数据两手都要硬
02-05 1138
数据是AI的基石，缺数据无AI。
博客
【英特尔人工智能创新应用大赛】57万元+大赛奖金池！更享CSDN专属激励！
01-06 1147
「英特尔人工智能创新应用大赛」火热开启！获奖团队不仅可以瓜分57万元+大赛奖金池，同时也可以获得CSDN专属激励，点击进来看看吧！
博客
征文榜单 | 腾讯云向量数据库获奖名单公布
12-20 8338
为了帮助开发者更快、更便捷地构建应用程序，有效提高开发人员生产力，腾讯云推出了AI原生向量数据库。它能提供全托管的自研企业级分布式数据库服务，专用于存储、检索、分析多维向量数据，是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。在活动期间，广大开发者参与云向量数据库的体验并积极地投稿，通过专家严密地审核，最终有以下征文作品脱颖而出。恭喜以上获奖的参赛选手！没获奖的小伙伴也不要泄气哦，可以持续关注我们后续推出的征文活动，欢迎大家积极投稿哦！
博客
亚马逊云科技产品测评榜单新鲜出炉，你上榜了吗？
12-14 5494
随着云计算时代的到来，高新科技产品成为我们生活中不可或缺的东西，亚马逊云科技产品全面发力以创新技术助力每一个用户。感受和测评最热门的亚马逊云科技开发者工具与服务为技术发展提供了更多的可能性。你将借助亚马逊云科技的产品和服务，发挥想象和创造，以文章的方式分享你的想法和见解，帮助开发者深入了解最新技术趋势，能够更便捷、更低成本地开展云上应用开发，推动业务发展与创新。征文评选：2023年12月8日-2023年12月11日。活动报名：2023年11月7日-2023年12月7日。三等奖*10 CSDN背包。
博客
【开源物联，协同成长】TobudOS开放原子训练营第四季线下培训圆满落幕
12-12 1万+
本次线下活动邀请到了腾讯物联网操作系统项目负责人、腾讯高级工程师汪礼超、嵌入式开发者TobudOS社区优秀贡献者杨源鑫、意法半导体通用微控制器部门应用工程师刘文军、南京厚德物联网有限公司CEO熊保松、腾讯物联网操作系统架构师赵健几位大咖分享成果，他们对TobudOS开源项目的介绍和实践激发了广大开发者对于开源开放项目的兴趣，打造更具价值的物联网解决方案和产品。在实践环节，现场参与者热情高涨，积极开始动手实验，开发者也加入助教行列，指导参与人员根据实验手册完成物联网应用和产品开发的实验。
博客
2023开发者职场生存白皮书正式发布！
10-24 4万+
博客
多元共进｜2023 Google 谷歌开发者大会回看视频陆续上线
09-15 1万+
除此之外，回看视频也在 10+ 科技平台和开发者社区平台的内容专题页上发布，无论你是想重新回顾大会精彩，还是未曾亲临现场但想探索大会，都可以自由选择自己喜欢的平台，随时随地观看，获得丰富的信息和灵感。包含谷歌在共建多元、平等、共融环境，促进艺术与文化传播，拓展增长机遇，支持开发者生态等方面的举措，深度分享，全面解读，带领开发者们朝着更广阔的全球舞台稳步向前。，分享科技最新动态和前沿案例，让创新技术助力开发提效，优化应用质量，提升开发体验，帮助开发者打造优质应用。，帮助开发者释放潜能，获得技术启发；
博客
多元共进｜探索社区故事，助力开发者成长
09-14 1万+
是由各地使用和学习谷歌技术的开发者组成的社区，为当地开发者提供见面并讨论感兴趣的技术的机会。的使命是为开发者提供覆盖全球数十亿用户所需的工具和机会，在这样的信念驱使下，谷歌携手合作伙伴一起不断探索、精进，充分借助 Google Play 的技术支持与服务，提升用户体验，诸如依靠 Google Play 平台的功能充分优化游戏性能、使用 Google Play 游戏电脑版简化工作流程等等，这些功能助力更多开发者打造出精品游戏。为此，针对不同身份的开发者，谷歌有不同的开发者社区项目来助力开发之旅。
博客
多元共进｜拓宽知识边界，持续增长技能
09-14 1万+
开发者大会与开发者们共享了技术新知，也同步提供持续更新的学习资源，包括可以上手实践的课程和练习，加深开发者们对开发技术和产品动态的理解，共同打造面向当今和未来产品与服务的解决方案。一直以来，谷歌致力通过持续更新的学习资源，助力开发者们学习新知，拓展技能，蓄势未来。在开放且迅速迭代的技术生态中，开发者面临着无限的机遇，与此同时，开发者的知识储备和技能水平也被赋予了更高的期待。扫码进入 Google 开发者在线课程，开启学习之旅，实现技能进阶，做好知识储备，迎接未来机遇！持续更新，助力技能进步。
博客
新知同享｜Cloud 开发加速创新，更加安全
09-12 1万+
运用生成式 AI 技术，通过不同的 Google Cloud 界面或接口，可以作为专业的 AI 助手在应用开发、运维、数据和识别安全威胁方面提供协助，为团队减负增效，开发者还可以使用 Duet AI 直接在界面中获得所需的代码解释，简化大型代码库的维护工作。为满足生成式 AI 的两个最常见的应用场景: 搜索和聊天，谷歌推出了 Vertex AI Search 和 Conversation，与基础模型相辅相成，帮助开发者更高效地构建更强大的搜索和聊天应用。它基于一个专用于安全用途的大型语言模型，名为。
博客
新知同享 | Web 开发性能提升，优化体验
09-12 1万+
WebAssembly 如今支持 Kotlin 和 Dart，可让 Android 和 Flutter 开发者利用其优势，在重用现有代码的同时，利用原生性能在 Web 上吸引新的用户。另外，WebGPU 还能节省资金，提高速度，并通过访问设备上的计算能力构建保护隐私的 AI 功能。谷歌提供工具和解决方案，帮助开发人员构建符合心意的网页，既能满足特定需求，又能为用户提供最优质的体验。而后，Flutter 3.13 对 Web 上的 Flutter 进行了诸多改进，使得加载速度更快，可访问性更好。
博客
新知同享 | Mobile 开发轻松跨屏，高效构建
09-12 1万+
Kotlin 正与 JetBrains 合作开发新的 K2 编译器，并整合到相关工具中，如 Android Studio、Android Lint、KSP、Compose 等，以及利用谷歌庞大的 Kotlin 代码库来验证新编译器的兼容性。，并推出和改进一系列工具和参考，包括 Android Studio Hedgehog Canary 3 中新加入的 Pixel Fold 和 Pixel Tablet 模拟器配置，更新和拓展过的 Material 设计指南，以及针对游戏和创意应用的设计参考。
博客
新知同享 | AI 开发广泛应用，高效构建
09-12 1万+
具体来说，开发者用 Muse 上的 DreamBooth 生成角色图像，用 PaLM API 生成描述，用 Flutter 创建游戏 UI 和动画，用 Dart 编写后端，并使用一套 Firebase 和 Google Cloud 工具进行托管和共享。语言模型旨在预测和生成合理的语言。是谷歌新发布的模型可视化调试程序，帮助开发者比较模型在不同 TensorFlow.js 后端上执行时的输出，找出运算输出从何时开始出现差异，以及差异有多大，以便发现在不同后端环境和设备上使用模型时可能出现的 bug。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值