2013年11月_土豆131421

12月 11月 10月 09月 08月

转载开源性能测试工具 - Apache ab 介绍

引子按照原定计划，今天开始研究 JMeter，一天的时间看完了大半的 User Manual，发现原来只要沉住气，学习效率还是蛮高的，而且大堆的英文文档也没有那么可怕 ^_^本来想顺便把文档翻译一下，不过后来想了想，看懂是一回事，全部翻译出来又是另外一回事了，工作量太大，而且这也不是我一开始要研究 JMeter 的本意。不如大家有兴趣一起研究的遇到问题再一起讨论吧。开源工具通常都是

2013-11-29 14:13:17 621 1

原创性能测试工具--SysBench

sysbench (System performance benchmark) 是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。它主要包括以下几种方式的测试： 1. cpu 中央处理器 2. threads POSIX线程性能 3. mutex

2013-11-29 11:52:28 593

原创 MySQL数据库性能优化之表结构优化

很多人都将作为数据库表结构设计“圣经”，认为只要按照这个范式需求设计，就能让设计出来的表结构足够优化，既能保证性能优异同时还能满足扩展性要求。殊不知，在N年前被奉为“圣经”的数据库设计3范式早就已经不完全适用了。这里我整理了一些比较常见的数据库表结构设计方面的优化技巧，希望对大家有用。这是 MySQL数据库性能优化专题系列的第二篇文章：MySQL 数据库性能优化之表结构优化系列的第一篇文

2013-11-29 10:20:00 497

转载 mysql锁定机制研究

在并发情况下，为了保证数据的一致完整性，我们需要对数据库进行锁操作，锁定机制的选择直接影响到数据库的并发能力和性能，所以在选择锁定机制的时候一定要谨慎。mysql主要使用了三种类型的锁定机制，按照颗粒度从小到大排序为：行级锁定、页级锁定和表级锁定，随着颗粒度的增加，并发能力降低，消耗也降低，发生死锁的概率也降低。本文主要通过MyISAM和Innodb两种存储引擎来讲解表级锁定和行级锁定。

2013-11-29 09:30:21 567

转载 mysql 确定前缀索引长度方法

应用场景：数据库里有个地址（address）字段，类型为varchar(100)，业务决定了要经常根据address来进行查询。确定选择性：[sql] view plaincopyprint?SELECT count(DISTINCT(address))/count(*) AS Selectivity FROM info; +-------------+

2013-11-28 16:49:00 932 1

转载 mysql的query优化

我们统称由客户端发送给服务端的命令叫query。mysql server的连接线程接收到客户端发送过来的query之后会对query进行相应的分析，根据分析数据，mysql的查询优化器(QueryOptimizer)会得出一个mysql认为最优化的数据访问方式，即“执行计划”，然后根据得出的“执行计划”通过存储引擎的相应的接口来获取数据，将取出的数据进行一定的处理后按照客户端要求的格式返回。m

2013-11-28 16:10:02 610

转载 mysql的索引分析及B+/-Tree原理

B+/-Tree原理B-Tree介绍B-Tree是一种多路搜索树（并不是二叉的）： 1.定义任意非叶子结点最多只有M个儿子；且M>2； 2.根结点的儿子数为[2, M]； 3.除根结点以外的非叶子结点的儿子数为[M/2, M]； 4.每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字）

2013-11-28 15:59:10 529

转载 mysql order by，group by和distinct优化

order by，group by和distinct三类操作是在mysql中经常使用的，而且都涉及到排序，所以就把这三种操作放在一起介绍。order by的实现与优化order by的实现有两种方式，主要就是按用没用到索引来区分：1. 根据索引字段排序，利用索引取出的数据已经是排好序的，直接返回给客户端；2. 没有用到索引，将取出的数据进行一次排序操作后返回给客户端。下面通过示

2013-11-28 15:45:05 608

转载 mysql query cache优化

query cache原理当mysql接收到一条select类型的query时，mysql会对这条query进行hash计算而得到一个hash值，然后通过该hash值到query cache中去匹配，如果没有匹配中，则将这个hash值存放在一个hash链表中，同时将query的结果集存放进cache中，存放hash值的链表的每一个hash节点存放了相应query结果集在cache中的地址，以及

2013-11-28 15:43:59 555

转载 mysql schema设计优化

mysql前期的设计问题会给后期的开发维护造成很大的问题，所以在mysql数据库的设计阶段就应该保证尽可能的高效，尽可能的减小后期开发和维护代价。如何设计1.适度冗余，让query尽量减少join虽然optimizer会对query进行一定的优化，但有时候遇见复杂的join，优化效果并不令人满意，再加上本来join的性能开销，所以需要尽量的减少join，而需要通过冗余来实现。比如：有

2013-11-28 15:34:30 659

转载 MySQL性能分析

第一步检查系统的状态通过操作系统的一些工具检查系统的状态，比如CPU、内存、交换、磁盘的利用率，根据经验或与系统正常时的状态相比对，有时系统表面上看起来看空闲，这也可能不是一个正常的状态，因为cpu可能正等待IO的完成。除此之外，还应观注那些占用系统资源(cpu、内存)的进程。1.1 使用sar来检查操作系统是否存在IO问题#sar -u 2 10 — 即每隔2秒

2013-11-26 14:54:54 488

转载 RAID的概念和RAID对于SQL性能的影响

【译】RAID的概念和RAID对于SQL性能的影响简介我们都听说过RAID，也经常作为SQL DBA、开发人员或构架师在工作中讨论RAID。但是，其实我们很多人都对RAID的原理，等级，以及RAID是如何影响SQL Server性能并不甚了解。本篇文章就是为了补上这一课。磁盘构架今天的磁盘，和70年代45rpm(转/分钟)的唱片机很

2013-11-20 18:10:37 600

转载磁盘读写与数据库的关系

一磁盘物理结构(1) 盘片：硬盘的盘体由多个盘片叠在一起构成。在硬盘出厂时，由硬盘生产商完成了低级格式化(物理格式化)，作用是将空白的盘片(Platter)划分为一个个同圆心、不同半径的磁道(Track)，还将磁道划分为若干个扇区(Sector)，每个扇区可存储128×2的N次方（N=0.1.2.3）字节信息，默认每个扇区的大小为512字节。通常使用者无需再进行低级格式化操作。

2013-11-19 12:01:35 803

转载 Sql Server系列：数据库物理模式设计

1、开发数据库时常用命名规范　　1>、使用不包含数字的单数表名，如果必要的话可以增加模块名前缀。　　2>、对于主键的命名，使用表名+ID的形式。　　3>、作为外键的列的名字应该与它们所对应的主键的列名相同，除非该外键维护的是一种自反/递归的关系。　　4>、避免使用缩写。2、主键设计原则　　1>、主键用途：惟一标识一行；作为一个可以被外部键有效引用的对象。　　2>、主键应

2013-11-14 10:04:30 1043

转载 sql server中PAGELATCH_x和PAGEIOLATCH_x解析

0.参考文献Microsoft SQL Server企业级平台管理实践第11章Buffer Latch Timeout的解析什么是PAGELATCH和PAGEIOLATCH1.PAGELATCH_x和PAGEIOLATCH_x介绍在分析SQL server 性能的时候你可能经常看到 PAGELATCH和PAGEIOLATCH。比方说执行如下TSQL语句Selec

2013-11-08 20:48:09 653

原创 SQL Server大表转为分区表实例

-- 进行演示操作前, 先备份, 以便可以在演示完成后, 恢复到原始状态USE master-- 备份BACKUP DATABASE AdventureWorks TO DISK = 'AdventureWorks.bak' WITH FORMAT ---- 恢复--RESTORE DATABASE AdventureWorks-- FROM DISK =

2013-11-05 13:48:51 496

翻译 SQL Server如何截断(Truncate)和收缩(Shrink)事务日志

当SQL Server截断事务日志时，它仅仅是在虚拟日志文件中做个标记，以便不再使用它，然后准备以重用形式来做备份(假如运载在完整或是批量日志恢复模型)。也就是说，在使用简单恢复模型时，事务日志包括如下的日志记录：当checkpoint发生时，虚拟日志文件1、2不再被使用，因为事务1、2已经被提交了，而且日志记录也不再需要回滚了。然后SQL Server重用虚拟日志文件1、2，如下图：

2013-11-01 18:20:01 673

翻译 SQL Server数据库事务日志序列号(LSN)介绍

日志序列编号(LSN)是事务日志里面每条记录的编号。当你执行一次备份时，一些LSN值就被同时存储在文件本身及msdb..backupset表中。你可以使用RESTORE HEADERONLY语法来从备份文件中获取LSN值。注意：在SQL Server 2000中，有一列叫做DifferentialBaseLSN。但在SQL Server 2005中，相同的列名称变成了Databa

2013-11-01 18:17:29 1022

翻译 SQL Server数据库事务日志存储序列

如果你的数据库运行在完整或是批量日志恢复模式下，那么你就需要使用作业(job)来定期备份事务日志，保持你的事务文件大小处在一个可管理的范围。当你需要还原事务日志时，你就需要按照创建事务日志的顺序来恢复它们。你可以参考存在msdb..backupset表中的信息来确定还原文件的顺序，使用FirstLSN和LastLSN列的值作参考。当你备份时，这些备份信息就会存在backupset表中只

2013-11-01 18:14:22 544

翻译 SQL Server事务日志介绍

SQL Server中的数据库都是由一或多个数据文件以及一或多个事务日志文件组成的。顾名思意，数据文件主要存储数据库的数据，包括数据库内容结构，数据页，索引页等等。那么事务日志到底是干什么的呢？它主要是用来保存数据库修改记录的，如下图：SQL Server的工作原理为什么这样呢？为什么不把数据立刻写入数据文件呢？原因很简单：为了得到更高的效率和性能。数据文件为了适应新的数据可能会扩展，

2013-11-01 17:58:50 570

转载 SQL Server 2008如何压缩日志(log)文件？

在SQL Server 2000/2005中可以快速压缩日志log文件，通过SQL,方法一：

2013-11-01 16:51:49 579

转载 SQL server每个日志写(log write)究竟有多大

我曾经有个客户问我，如果我的磁盘专门放日志，那么格式化磁盘的时候，分配单元大小应该选多大呢？这个问题，其实和SQL server 的日志I/O操作有关。SQL server在写日志的时候，会发出多大的I/O请求呢？先来看看和这个问题相关的Allocation Unit。我们在格式化磁盘的时候, 会有一个选项叫做分配单元大小(Allocation Unit),如下所示：

2013-11-01 16:25:01 1310