- 博客(39)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 思考mysql内核之初级系列13---innodb的簇页管理(摘自老杨)
<br />在上一篇，bingxi和alex聊了关于簇描述结构。在本篇，bingxi和alex会讨论下簇页管理。所谓的簇页，就是用于管理簇结构的页。<br />对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/fsp/ fsp0fsp.c<br />D:/mysql-5.1.7-beta/storage/innobase/include/ fsp0fsp.h<br /> <br /> <br />1）每个页存放多少个簇描述结构<br /> Bingxi：“
2010-10-27 11:48:00
637
转载 思考mysql内核之初级系列12---innodb的簇描述结构(摘自老杨)
<br />在上一篇里，bingxi和alex聊了关于innodb的页编号。在本篇，bingxi和alex会讨论下簇描述结构。所谓的簇描述结构，对应的英文描述是extent，表达的意思是一些连续的页。<br />对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/fsp/ fsp0fsp.c<br />D:/mysql-5.1.7-beta/storage/innobase/include/ fsp0fsp.h<br /> <br />1)簇的定义<br />
2010-10-27 11:46:00
573
转载 思考mysql内核之初级系列11---innodb的页编号 (摘自老杨)
<br />在上一篇里，bingxi和alex聊了关于mysql内核调试方法。前10篇是一些基础性的内容，从本篇开始，将开始描述inndob的存储结构，为了便于描述的方便，会将一些细节暂时隐去，在后续说到B时会串起来。<br /> 我们可以了解到oracle、sqlserver采用的是段、簇、页的方式进行管理。很多其他的数据库也是采用的这样的方法。本篇，bingxi和alex讨论的是页的编号。<br />对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/
2010-10-27 11:44:00
566
转载 思考mysql内核之初级系列10---mysql内核调试方法(摘自老杨)
<br />在前面三篇，bingxi和alex聊了关于innodb的hash、list、以及动态数组的实现方法，这三个结构比较常用。讲完前9篇内容，本篇会描述在windows环境下debug mysql的方法，强烈建议通过debug的方式进行学习。在本篇里，bingxi和alex会聊到windows下常用的调试mysql代码的方法，仅供参考。<br /> <br />1）在windows和linux下调试的异同？<br /> Bingxi：“alex，咱们看myslq代码的方法，是通过windows看好
2010-10-27 11:43:00
562
转载 思考mysql内核之初级系列9---innodb动态数组的实现(摘自老杨)
<br />在上一篇，bingxi和alex聊了关于list的内容。在本篇里，bingxi和alex会聊到innodb的动态数组，也称为dyn。<br /> 对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/include/dyn0dyn.h<br />D:/mysql-5.1.7-beta/storage/innobase/include/dyn0dyn.ic<br />D:/mysql-5.1.7-beta/storage/innobase/dyn/d
2010-10-27 11:41:00
517
转载 思考mysql内核之初级系列8---innodb的list算法(摘自老杨)
<br />在上一篇里，bingxi和alex聊了下关于hash表的内容。在本篇里，会聊下关于list的内容。所谓list，就是双向链表，这样的算法在《数据结构》里面都是常见的。为了屏蔽差异性，类似于hash表，mysql将list通过宏来实现。<br /> 对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/include/ut0lst.h<br /> <br />1)常用结构体<br /> Alex：“bingxi，考你一个问题：如果共享空间有4个
2010-10-27 11:39:00
518
转载 思考mysql内核之初级系列7---innodb的hash表实现(摘自老杨)
<br />在上一篇里面，bingxi和alex谈到了文件系统管理，在结构体里面出现了两个常用的结构：hash_table_t、UT_LIST_NODE_T。这两个结构比较常用，在本篇里面，bingxi和alex聊了下关于hash_table_t的内容。<br />对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/ha/hash0hash.c<br />D:/mysql-5.1.7-beta/storage/innobase/include/hash0has
2010-10-27 11:38:00
515
转载 思考mysql内核之初级系列6---innodb文件管理(摘自老杨)
<br />在上一篇里面，bingxi和alex思考了information_schema，这个一直在innodb外围打转。没有进入到innodb的内部。在后续的文章中，以innodb的为主，逐个思考。Bingxi和alex今天了解了fil文件管理。<br />对应的文件为：<br />D:/mysql-5.1.7-beta/storage/innobase/fil/fil0fil.c<br />D:/mysql-5.1.7-beta/storage/innobase/include/fil0fil.h<b
2010-10-27 11:36:00
637
转载 思考mysql内核之初级系列5---information_schema不是innodb数据字典(摘自老杨)
<br />上次谈到了innodb缓冲区里面有些页被使用了，这些中有些被数据字典用了。那么什么是数据字典呢？bingxi和alex继续思考。<br /> <br />1) information_schema不是innodb数据字典<br /> bingxi：“alex，我觉得information_schema这个里面存储的不是数据字典，为了准确起见，换个说法，information_schema不是innodb数据字典。”<br /> alex：“是的，innodb一直有数据字典的概念，而inf
2010-10-27 11:34:00
596
转载 思考mysql内核之初级系列4--innodb缓冲区管理(摘自老杨)
<br />我们在前面讨论了一些mysql的基础知识，现在将要开始进入innodb引擎，从这里开始我们将开始代码的结构分析，innodb的内容分析之后，将反过来分析查询优化引擎。今天，我们先来讨论innodb缓冲区管理。<br />文件：<br />D:/mysql-5.1.7-beta/storage/innobase/include/buf0buf.h<br />D:/mysql-5.1.7-beta/storage/innobase/buffer /buf0buf.c<br /> <br /> Bi
2010-10-27 11:31:00
497
转载 思考mysql内核之初级系列3---办理业务的流程(摘自老杨)
<br />Alex第二天带了身份到银行找了小张，要办理个开户业务。<br /> <br />1）语法结构Lex<br /> Alex：“小张，我要开个账户。”<br /> 小张：“麻烦填写个开户申请单。”<br /> Alex：“好的，我顺便问个问题，开户要填写开户申请单，兑换港币也要写申请单，汇款等也需要填写，这里面既有共性，又有差异性，是如何管理的。”<br /> 小张：“嗯，差不多，都是提供写一些表单填写，假设申请创建表，那么就会用到create_info申请表（数据结构），如下面的代码。<
2010-10-27 11:29:00
424
转载 思考mysql内核之初级系列2---我可以为你服务什么？(摘自老杨)
<br />Alex取了个号，客户经理小张负责办理alex的服务。<br /> <br />1）服务清单<br /> 小张：“先生，我可以为你服务什么么？”<br /> Alex：“厄，我要一碗红烧肉。”<br /> 小张：“没有”<br /> Alex：“厄，那来碗拉面”<br /> 小张：“没有”<br /> Alex：“那有些啥？”<br /> 小张：“可以查看sql目录下sql_yacc.yy文件，不过你用的这个5.1.7没有该文件，只有相对应的sql_yacc.cpp文件。你可以使用
2010-10-27 11:27:00
488
转载 思考mysql内核之初级系列1--- mysql的启动过程(摘自老杨)
<br />有一天，两个不懂mysql内核的人想去了解mysql内核代码，两个人不是去调试代码、查找资料，而是在那边思考。因为不了解内核，所以边思考边去验证。<br /> 使用的mysql代码是5.1.7，调试环境是windows平台下的vs2003。<br /> <br /> Bingxi：“alex，你觉得mysql的启动过程会是什么样的呢？我们以银行为例吧。”<br /> Alex：“嗯，bingxi。早上银行开门了，会先准备好环境，然后开门迎客，mysql也是这样。Mysql里面会有一个ha
2010-10-27 11:25:00
447
转载 mysql内核分析--innodb哈希表的内部实现(上) (摘自老杨)
<br />1.哈希表的概述<br /> hash表的实现是innodb的基础功能之一，通过关键值进行映射，从而迅速进行查询、插入、删除的操作。<br /> hash表算法，在数据库内核里面被广泛的使用，举个例子，这个结构将会在下文中继续使用的。<br />/* Data structure for a column in a table */<br />struct dict_col_struct{<br /> hash_node_t hash; /* hash cha
2010-10-27 11:22:00
506
转载 mysql内核分析--innodb动态数组内部实现(下)(摘自老杨)
<br />2）used<br /> used表示data[DYN_ARRAY_DATA_SIZE]字段中已经使用的字节的数量，假设需要申请len字节的长度，在使用之前需要判断的是，尾block中的可用空间是否够用。也就是判断判断下used+len是否满足used+len<= DYN_ARRAY_DATA_SIZE，如果满足就可以放进该block，并将已使用的字节数used加上len。<br /> 如果，该block空间不够，那么就会申请一个新的block，这里我们就可以明白了，为什么需要满足l
2010-10-27 11:20:00
447
转载 mysql内核分析--innodb动态数组内部实现(上) (摘自老杨)
<br />1. 动态数组概述<br />动态数组涉及的文件是innodb存储引擎的三个文件：dyn0dyn.h、dyn0dyn.ic以及dyn0dyn.c。<br /> 这是一个基本的组件功能，是作为一个动态的虚拟线性数组。数组的基本元素是byte。动态数组dyn主要用来存放mtr的锁定信息以及log。Dyn在实现上，如果block需要分裂节点，则会使用一个内存堆。每个blok块存储数据的数据字段的长度是固定的（默认值是512），但是不一定会完全用完。假设需要存储的数据项的尺寸大于数据块时
2010-10-27 11:17:00
505
转载 如何编译mysql内核(摘自老杨)
<br />在最新的版本中，windows环境与linux环境下使用一套代码。比如mysql-6.0.4-alpha版本中的INSTALL-WIN-SOURCE文件的描述：<br /> To build MySQL on Windows from source, you must satisfy the<br /> following system, compiler, and resource requirements:<br /> * Windows 2000, Windows XP,
2010-10-27 11:15:00
449
转载 Mysql查询优化器浅析（下）(摘自老杨)
7 存取类型 当我们评估一个条件表达式，MySQL判断该表达式的存取类型。下面是一些存取类型，按照从最优到最差的顺序进行排列：system … 系统表，并且是常量表const … 常量表eq_ref … unique/primary索引，并且使用的是'='进行存取ref … 索引使用'='进行存取ref_or_null … 索引使用'='进行存取，并且有可能为NULLrange … 索引使用BETWEEN、IN、>=、LIKE等进行存取inde
2010-10-27 11:12:00
414
转载 Mysql查询优化器浅析（上）(摘自老杨)
1 定义 Mysql查询优化器的工作是为查询语句选择合适的执行路径。查询优化器的代码一般是经常变动的，这和存储引擎不太一样。因此，需要理解最新版本的查询优化器是如何组织的，请参考相应的源代码。整体而言，优化器有很多相同性，对mysql一个版本的优化器做到整体掌握，理解起mysql新版本以及其他数据库的优化器都是类似的。 优化器会对查询语句进行转化，转化等价的查询语句。举个例子，优化器会将下面语句进行转化：SELECT … WHERE 5=a;转化后的等价语句为：SELECT … WHERE a=5;因
2010-10-27 11:11:00
423
转载 InnoDB记录结构浅析(摘自老杨)
<br />InnoDB记录由三个部分组成，见表1：表1：InnoDB的记录组织形式名称长度Field Start OffsetsF*1或者 (F*2)个字节Extra Bytes6个字节Field Contents和记录的实际内容相关备注：1) “F”是指记录的字段数量。2) “Field Start Offsets”是一个目录列表，分别指向下一个字段实际存储的偏移值。3) “Extra Bytes”的长度是不变的，占用6个字节。4) “Field
2010-10-27 11:10:00
447
转载 InnoDB页结构浅析(摘自老杨)
<br />InnoDB将所有的记录存放在数据库页中（也可以称为数据块）。一般情况下，所有的页大小都是16KB。 数据页中不仅仅包含实际的记录，还包含其它的一些内容，比如文件头以及文件尾等等。 InnoDB的页包含以下几个部分：1) Fil Header：文件头2) Page Header：页头3) Infimum+Supremum Records：最小虚记录以及最大虚记录4) User Records：用户记录5) Free Space：自由堆6
2010-10-27 11:08:00
492
转载 深入理解数据库原理系列（2）---并发控制原理(摘自老杨)
<br />事务之间的相互影响可能导致数据库状态的不一致，即使各个事务能保持状态的正确性，而且也没有任何故障发生。因此，不同事务中各个步骤的执行顺序必须以某种方式进行规范。控制这些步骤的功能由DBMS的调度器部件完成，而保证并发执行的事务能保持一致性的整个过程称为并发控制。调度器的作用如图1所示。<br /> 首先讨论如何保证并发执行的事务能保持数据库状态的正确性。抽象的要求称为可串行性，另外还有一个更强的、重要的条件为冲突可串行性，它是大多数调度器所真正实现的。我们考虑实现调度器的最重要技术：封锁、时
2010-10-27 11:05:00
616
转载 深入理解mysql之BDB系列（3）---数据页结构(摘自老杨)
四：数据页结构4.1 B/H主要页结构4.1.1结构图<br />4.1.2数据结构 typedef struct _db_page { DB_LSN lsn; //LSN db_pgno_t pgno; //页号 db_pgno_t prev_pgno;
2010-10-27 11:03:00
475
转载 深入理解mysql之BDB系列（2）---数据元页结构(摘自老杨)
三：数据元页结构3.1 metepage头结构该结构是一个公共结构。用于B树matapage页、HASH的matepage页以及queue的metapage。 typedef struct _dbmeta33 { DB_LSN lsn; //LSN db_pgno_t pgno; //当前页号 u_int32_t m
2010-10-27 10:51:00
478
转载 深入理解mysql之BDB系列（1）---BDB相关基础知识(摘自老杨)
一：BDB体系结构1.1.BDB体系结构BDB整体的体系结构如图1.1所示，包含五个子系统（见图1.1中相关数）。1）数据存取子系统，2）事务子系统，3）锁子系统，4）内存池管理子系统，5）日志子系统。在一个应用程序中，并不一定需要完全具备这5大子系统。如果程序只使用了数据存取子系统，它的体系结构如图1.2。在图1.2中，我们只使了两个子系统：数据存取以及内存池子系统。（备注：另外三个子系统在BDB系统中隐式调用）<br /><br /> 1.2.子系统的介绍1）数据存取子系统 数据存取子系统提供多种存
2010-10-27 10:50:00
822
转载 深入理解数据库原理系列（1）---日志系统原理(摘自老杨)
一：事务系统1.事务的工作模型 事务必须满足原子性，所封装的操作或者全做或者全不做。事务管理系统需要做两件事，1）让日志系统产生日志，2）保证多个事务并发执行，满足ACID特性。 事务系统工作模型，见图1。 如图，事务管理管理器控制查询处理器的执行、控制日志系统以及缓冲区。日志在缓冲区生成，日志管理器在一定的时候控制缓冲区的刷盘操作。当系统崩溃的时候，恢复管理器就被激活，检查日志并在必要时利用日志恢复数据。 2.事务的原语操作在事务系统的运行当中，有三个地址空间供元素存储：1)磁盘空间、2)
2010-10-27 10:44:00
594
转载 数据库性能调优技术系列文章(4)--深入理解散列连接执行计划(摘自老杨)
一、概述这篇文章是数据库性能调优技术系列的第四篇。上一篇文章讲解了深入理解嵌套循环连接执行计划。上一篇文章中提到两张表的连接有三种执行方式：1）嵌套循环连接；2）散列连接；3）归并连接。散列连接是很重要的连接方式，包含比较多的内容，这篇文章中讲解为什么需要散列连接？如何理解散列连接？和前三篇文章一样，本文讲解的是些比较抽象的内容，不拘泥于具体的数据。所以本文中使用的代价评估模型也是抽象的，假设了数据库缓冲区大小只有一个页，新页的读取必然导致旧页的释放。读完本文之后应该能够读懂达梦数据库、oracle数据库、
2010-10-27 10:42:00
772
转载 数据库性能调优技术系列文章(3)--深入理解嵌套循环执行计划(摘自老杨)
一、概述 这篇文章是数据库性能调优技术的第三篇。上一篇文章讲解了深入了解单表执行计划，单表执行计划是理解多表执行计划的基础。 两张表的连接有三种执行方式：1）嵌套循环连接；2）散列连接；3）归并连接。两张表连接时选择这三种中的哪一种呢？这取决于索引、以及连接的代价。在该系列的第三篇（本文）文章中讲解嵌套循环连接，第四篇文章中讲解散列连接，第五篇文章中讲解归并连接。在第六篇以后会分析IN子查询以及EXISTS子查询。 达梦数据库、oracle数据库、sql server数据
2010-10-27 10:38:00
522
转载 数据库性能调优技术系列文章(2)--深入理解单表执行计划 (摘自老杨)
一、概述 这篇文章是数据库性能调优技术的第二篇。上一篇讲解的索引调优是数据库性能调优技术的基础。这篇讲解的深入理解单表执行计划，是数据库性能调优的有力工具。 查询语句可以有多种可选执行计划，如何选择效率最高的执行计划?达梦数据库、oracle数据库、sql server数据库都是采用基于成本的查询优化，对备选执行计划进行打分，选择代价最小的执行计划进行执行。这些内容，我会在后续的几篇文章中进行详细的描述。在此之前，我们首先需要掌握如何理解数据库执行计划。这篇文章讲解只涉及单表操作
2010-10-27 10:37:00
770
转载 数据库性能调优技术系列文章(1)--索引调优(摘自老杨)
一、概述 随着数据库在各个领域的使用不断增长，越来越多的应用提出了高性能的要求。数据库性能调优是知识密集型的学科，需要综合考虑各种复杂的因素：数据库缓冲区的大小、索引的创建、语句改写等等。总之，数据库性能调优的目的在于使系统运行得更快。 调优需要有广泛的知识，这使得它既简单又复杂。 说调优简单，是因为调优者不必纠缠于复杂的公式和规则。许多学术界和业界的研究者都在尝试将调优和查询处理建立在数学基础之上。 称调优复杂，是因为如果要完全理解常识所依赖的原理，还需要对应用、数据库管理系统、操作系统以及硬件有
2010-10-27 10:35:00
654
转载 B树系列文章(3)--删除、更新操作(摘自老杨)
4.B树上的删除元组操作 假设B树的组织形式如图7。 删除索引键值为9的记录，执行流程： 1）以索引键值=9查询B树，定位要删除的元组，该元组位于叶子节点L1。 2）删除索引键值=9的入口项，10、16对应的记录向前移动一个位置。参照图8。 一般的文档上都会描述下溢节点，也就是说入口项占有率<50%（一般的设为50%），就会与兄弟节点进行合并，从而使所有节点的最小占有率≥50%。这样做的好处是显而易见的，维持B树在合理的深度。但是这样可能频繁的合并、分裂操作。 所以，大
2010-10-27 10:31:00
545
转载 B树系列文章(2)--插入操作(摘自老杨)
3.B树上的插入操作<br /> 为了便于问题的描述，现重新构造一个只有两层的B树。见图2。<br /><br /> 简单插入操作： <br /> 参考图2，先考虑一个简单的操作，向该B树插入一条索引键值为9的记录。执行流行如下： 1）执行索引键值=9的查找操作，确定该新记录应该插入到叶子节点L1中。 2）此时发现叶子节点L1中还是有空闲记录空间的，因此可以确定该新记录可以插入L1中而不会导致分裂。 3）将记录10、16向后移动移动一个位置，插入索引键值为9的新记录。插入之后，
2010-10-27 10:29:00
684
转载 B树系列文章(1)--查询操作(摘自老杨)
<br />B树是最重要的存取路径结构。B树总是平衡的，并且对任意修改操作来说，也容易维持B树的平衡。1.B树的基本思想<br /> B树的每个节点都是一个页面。B树有两种类型的节点：叶子节点和索引节点。叶子节点包含要查找的数据，对聚集索引而言数据是记录，对非聚集索引，这里的数据是指索引列、主关键字（或ROWID）。索引节点不包含数据，只包含下一层节点的路由信息。<br /> B树索引节点的抽象数据结构如下：ulint F; //在一个索引节点中最大入口项的数量<b
2010-10-27 10:26:00
616
原创 mysql权限管理
mysql的访问分两个阶段：1. 检查用户是否具有建立与mysql的连接的权利，主要依靠检查：用户名、主机名和密码；2. 建立了连接后，服务器检查客户端发出的每个请求。看是否有足够的权限实施它。例如执行select命令等。二、权限控制1. mysql访问权限管理通过6个表：user、db、host、tables_priv、columns_priv和procs_priv来控制，6个表的作用如下表：表名含义user控制“用户名”（user）可以从哪一台“主机名”(ho
2010-10-25 10:49:00
2563
原创 如何一条SQL快速生成100万条测试数据
<br />创建大量的测试数据，动不动就需要上万条，如何通过一条SQL快速生成大量的测试数据的方法。SQL> select rownum as id,<br /> 2 to_char(sysdate + rownum / 24 / 3600, 'yyyy-mm-dd hh24:mi:ss') as inc_datetime,<br /> 3 trunc(dbms_random.value(0, 100)) as random_id,<br
2010-10-25 10:18:00
3346
转载 oracle 数据类型详解---日期型（叶正盛）
<br /> oracle数据类型看起来非常简单，但用起来会发现有许多知识点，本文是我对ORACLE日期数据类型的一些整理，都是开发入门资料，与大家分享：<br />注：由于INTERVAL及TIME ZONE实际用得比较少，所以本文内容未涉及这两个方面。<br />1、常用日期型数据类型<br />1.1、DATE<br />这是ORACLE最常用的日期类型，它可以保存日期和时间，常用日期处理都可以采用这种类型。DATE表示的日期范围可以是公元前4712年1月1日至公元9999年12月31日<br />d
2010-10-25 10:12:00
1092
转载 Oracle数据库10个小问题（摘自叶正盛）
<br />1、自增长字段<br />很多人从别的数据转来使用Oracle时，会发现Oracle的数据类型里没有自增长字段类型，而像mysql,sqlserver,db2等主流数据库都有对应的自增长字段类型，Oracle的官方解决方案是采用sequence实现，sequence比较灵活，可以指定增长间隔等参数，虽然最终可以实现与其它数据库一样的效果，但是本来一个简单的数据类型可能解决，在Oracle却需要增加一个sequence，insert的时候还需要用sequence.nextval才行，这个地方感觉特
2010-10-25 09:43:00
1132
转载 ext4 新特性
本文翻译并改进自http://kernelnewbies.org/Ext4，谢谢原文作者的精彩评析。Ext4是内核版本2.6.28的重要部分。介绍Ext4是Linux文件系统的一次革命。在很多方面，Ext4相对于Ext3的进步要远超过Ext3相对于Ext2的进步。Ext3相对于 Ext2的改进主要在于日志方面，但是Ext4相对于Ext3的的改进是更深层次的，是文件系统数据结构方面的优化。一个高效的、优秀的、可靠的和极具特点的文件系统就此诞生。兼容性任何Ext3文件系统都可以轻松的迁移到Ext4文件系统，你只
2010-10-15 10:49:00
649
转载 InnoDB主键设计（老叶）
<br /><br />InnoDB是clustered-index table，因此对于InnoDB而言，主键具有特殊意义。可以通过主键直接定位到对应的某一数据行记录的物理位置，主键索引指向对应行记录，其他索引则都指向主键索引；因此，可以这么说，InnoDB其实就是一个 B-树索引，这棵B-树的索引就是主键，它的值则是对应的行记录。<br />在InnoDB数据表设计中，我们需要注意几点：1. 显式的定义一个 INT 类型自增字段的主键，这个字段可以仅用于做主键，不做其他用途2. 如果不显式定义主键的话，
2010-10-15 10:48:00
780
jni.chm（Java调用c语言）
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人