- 博客(49)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 使用mysql federated引擎构建MySQL分布式数据库访问层
转自：http://zhangxugg-163-com.iteye.com/blog/1666673使用mysql federated 引擎构建 MySQL 分布式数据库访问层 前言：随着应用复杂度的增加，数据库不断细化切分，导致应用程序中数据库应用就得复杂，凌乱。绝大部分程序人员可能都遇到这种情况，应用程序中需要连接多台数据库服务器，进行相应的操作。随着时间积
2013-01-31 14:37:11
2848
转载 QQ空间技术架构之深刻揭密
QQ空间作为腾讯海量互联网服务产品，经过近七年的发展，实现了从十万级到亿级同时在线的飞跃。在这个过程中，QQ空间团队遇到了哪些技术挑战？其站点前后台架构随着业务规模的变化又进行了怎样的演进与变迁？成长背后有过怎样的心酸和快乐……4.26日晚间，腾讯大讲堂·深圳首站《QQ空间技术架构之峥嵘岁月》活动在腾讯总部腾讯大厦多功能厅举办，腾讯Web前端研发领域专家、腾讯最早的专职Web开发团队核心成员、
2013-01-30 23:35:20
1206
转载 CDN工作原理
随着互联网业务的不断发展，数据量越来越大，传统的网络已经无法满足如此大量的数据量。如下图：在传统的网络架构下用户的请求经过网络中的路由A、B的传输，最终将发送的请求交于动态系统来处理，但是由于IP网络本身的“尽力而为的原则”、网络链路中复杂的环境及硬件的不可靠性的确实存在，致使用户要出现重复发送的请求的现状，所以最终导致用户的请求在提交的过程中出现等待、数据加载时间过长的一些现象的普遍存在，这些在
2013-01-30 23:24:38
1013
转载 InnoDB的Master Thread调度流程
转自：http://ourmysql.com/archives/902 HOME关于OURMYSQLMYSQL链接感谢InnoDB的主要IO操作都是在Master Thread（srv0srv.c）中完成的，所以分析InnoDB的IO调度，就一定要分析Master Thread线程。下面是我画的一张流程图，标识了整个Master
2013-01-29 20:17:57
788
转载 mysql 如何实现审计
转自：http://blog.chinaunix.net/uid-7187455-id-3135548.html背景：假设这么一个情况，你是某公司mysql-DBA，某日突然公司数据库中的所有被人为删了。尽管有数据备份，但是因服务停止而造成的损失上千万，现在公司需要查出那个做删除操作的人。但是拥有数据库操作权限的人很多，如何排查，证据又在哪？是不是觉得无能为力？my
2013-01-29 16:59:06
1512
转载 理解linux里的inode
inode是一个重要概念，是理解Unix/Linux文件系统和硬盘储存的基础。我觉得，理解inode，不仅有助于提高系统操作水平，还有助于体会Unix设计哲学，即如何把底层的复杂性抽象成一个简单概念，从而大大简化用户接口。下面就是我的inode学习笔记，尽量保持简单。===================================理解inode作者
2013-01-28 23:44:27
609
转载 磁盘IOPS和带宽（throughput）
自：http://www.storageonline.com.cn/storage/storage-fundamental/about-iops/ SAN和NAS存储一般都具备2个评价指标：IOPS和带宽（throughput），两个指标互相独立又相互关联。体现存储系统性能的最主要指标是IOPS。IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次
2013-01-27 17:34:40
14021
转载 什么是CMOS
CMOS（本意是指互补金属氧化物半导体——一种大规模应用于集成电路芯片制造的原料）是微机主板上的一块可读写的RAM芯 片，用来保存当前系统的硬件配置和用户对某些参数的设定。CMOS可由主板的电池供电，即使系统掉电，信息也不会丢失。 CMOS RAM本身只是一块存储器，只有数据保存功能，而对CMOS中各项参数的设定要通过专门的程序。早期的CMOS设置程序驻留 在软盘上的(如IBM的PC/AT机型
2013-01-27 16:04:52
916
转载 什么是BIOS
BIOS是英文"Basic Input Output System"的缩略语，直译过来后中文名称就是"基本输入输出系统"。它的全称应该是ROM－BIOS，意思是只读存储器基本输入输出系统。其实，它是一组固化到计算机内主板上一个ROM芯片上的程序，它保存着计算机最重要的基本输入输出的程序、系统设置信息、开机上电自检程序和系统启动自举程序。有人认为既然BIOS是"程序"，那它就应该是属于软件，感觉就像
2013-01-27 15:55:08
1018
转载 串口硬盘和并口硬盘的区别
如何你想要买电脑或组装一台电脑时，你首先要了解一些硬件知识，在本文中为大家具体介绍一下串口和并口硬盘，以及两者之间的区别。希望对各位有所帮助。 为了便于大家理解，可以这样来理解串口硬盘和并口硬盘的区别： 通俗的说，串口形容一下就是 一条车道，而并口就是有8个车道 同一时刻能传送8位（一个字节）数据。 但是并不是并口快，由于8位通道之间的互相干扰。传输受速度就受到了限制。而且
2013-01-27 11:05:45
2097
转载 数据切片思路随聊
P：今天我们聊一下关于数据切片的方法S: 可以。P: 有时候我们会碰到数据量太大,单点容量无法支撑的情况;这时候我们会需要进行分库.S：嗯，是的；基于硬件成本的考虑,我们不可能一性次分库到位:一般是随着数据量的增长逐次扩容分库,P: 是的，所以在定分库方案的时候还需要考虑以后的扩容方案S：比如我们是通过USERID来进行分库:一般有两种方法:1)用D
2013-01-23 20:19:40
2740
转载 曾用于内部培训的PPT内容：MySQL开发规范与实用技术交流
转自：http://www.mysqlops.com/2011/05/25/mysql-training-ppt.html
2013-01-23 20:13:25
985
转载 MySQL中创建及优化索引组织结构的思路
转自：http://www.mysqlops.com/2011/05/23/mysql-create-and-optimize-index.html【导读】通过一个实际生产环境中的数据存取需求，分析如何设计此存储结构，如何操纵存储的数据，以及如何使操作的成本或代价更低，系统开销最小。同时，让更多初学者明白数据存储的表上索引是如何一个思路组织起来的，希望起到一个参考模板的价值作用。
2013-01-23 19:59:41
505
转载 mysql子查询的弱点
转自：http://hidba.org/?p=260mysql的子查询的优化不是很友好，一直有受业界批评比较多.关于mysql的查询有两个知识点:第一个为mysql在处理所有的查询的时候都强行转换为联接来执行，将每个查询包括多表中关联匹配，关联子查询，union，甚至单表的的查询都处理为联接，接着mysql执行联接，把每个联接在处理为一个嵌套循环(oracle-nest-l
2013-01-23 19:28:24
897
转载 mysql 误删数据恢复
数据平台开发误删数据，但是不知道具体时间点，就给了一个模糊时间，同事使用rollback逆向恢复（解析binlog产生反向SQL），我使用备份集恢复apply binlog正向恢复，尽快解决问题【原正向恢复方式】选择数据出问题时间之前最近的备份集恢复在一个新实例（restorebak.pl恢复工具支持，操作方便）将备份集pos与数据出问题pos之间的bi
2013-01-23 16:46:47
1881
转载 mysql innodb change buffering 简单介绍
转自：http://www.dbunix.com/?p=3105线上库的alert.log中出现如下错误信息：120120 11:21:16 InnoDB: Assertion failure in thread 1133807936 in file ibuf0ibuf.c line 4233InnoDB: Failing assertion: page_get_n_recs
2013-01-23 16:08:15
2457
转载 5.5版本中mysqldump一些改进
昨天一同学说在slave上出现Waiting for table metadata lock，metadata lock在5.5版本新加的(http://dev.mysql.com/doc/refman/5.5/en/metadata-locking.html)。metadata lock出现最多情况是一个事务中在t表进行DML时，另外一事务想对t表DDL，这时对t表DDL的事务只能等待，就会出现
2013-01-23 15:50:12
572
转载 mysql innodb ib_logfile、bin-log与主从同步的问题
今天研究MySQL主从同步的同事问了一个问题，如果InnoDB写完ib_logfile后，服务异常关闭。会不会由于主库能够根据ib_logfile恢复数据，而由于bin-log没写导致从库同步时少了这个事务？或者反之，bin-log写成功，而ib_logfile没有写完，导致从库执行事务，而主库不执行？ 这会导致主从不一致。本文简要说明下这个问题。 1、 写入
2013-01-23 15:20:23
1174
转载 InnoDB的ib_logfile写入策略
ib_logfile是InnoDB的事务日志文件。本文简要说明其写入时机、写入策略及如何保证数据安全。 1、 基本概念a) ib_logfile文件个数由innodb_log_files_in_group配置决定，若为2，则在datadir目录下有两个文件，命令从0开始，分别为ib_logfile0和ib_logfile.b)
2013-01-23 15:04:22
1036
转载 Mysql innodb undo与redo (2)
CPU与Mem，Mem与Disk一级一级的速度差别，使得我们不断寻找可以提高速度的方式；例如，页面速度的提高：使用squid、varnish、nginx cache等页面缓存提高页面的访问速度，使用memcache等数据缓存提高应用层访问速度。数据库怎么减少离散磁盘读写，提高数据访问速度。oracle 从i到g都在不断优化（之间是回滚段到回滚表空间），对redo和undo日志的利用
2013-01-23 14:28:30
2301
转载 mysql-innodb-undo和redo (1)
转自：http://blog.chinaunix.net/uid-20485483-id-3180386.html- 用Undo Log实现原子性和持久化的事务的简化过程 假设有A、B两个数据，值分别为1,2。 A.事务开始. B.记录A=1到undo log. C.修改A=3. D.记录B=2到undo log. E.修改B=4. F
2013-01-23 14:20:34
912
转载 测试快速关闭innodb的方法
Google docs 查看地址 http://docs.google.com/Doc?docid=0AR0iV03BDag2ZGRyMjI5cjdfODAxZnd6ejZ2Z3c&hl=enpdf下载地址 _mysqlporformanceblog_innodb_ (1)测试mysqlporformanceblog提供的减少关闭innodb时间的方法
2013-01-23 13:15:07
389
转载 mysql中的seconds_behind_master的理解
花了一个下午时间，翻了不少文章，说下自己对mysql中的seconds_behind_master的理解，下面是摘来的一篇文章：http://www.mysqlsystems.com/2011/06/two-methods-of-monitoring-slavelag-seconds_behind_master-or-mk-heartbeat.html日常工作中，对于MySQL主从
2013-01-23 10:35:09
3733
转载 图说InnoDB之表空间
InnoDB是MySQL的重要存储引擎，为数据提供了很好的稳定性。一方面，它借鉴了很多ORACLE特性，另一方面InnoDB也有很多自己的特点诸如Insert buffering、Double write等[2]。了解InnoDB的内部机制，可以帮助我们更好的配置和优化它。本文概述了InnoDB的表空间的结构，算是深入了解的第一步。上图先：在配置文件中可以配置InnoDB的表空间[
2013-01-22 19:05:52
511
转载 关于InnoDB索引长度限制的问题
有同学问到InnoDB的索引长度问题，简单说几个tips。 关于3072 大家经常碰到InnoDB单列索引长度不能超过767bytes，实际上联合索引还有一个限制是3072。Sql代码 mysql> CREATE TABLE `tb` ( -> `a` varchar(255) DEF
2013-01-22 18:43:21
1340
1
转载 关于InnoDB的索引大小的问题和注意事项
转自：http://dinglin.iteye.com/blog/1682188背景 关于InnoDB内的索引大小。对于表Sql代码 CREATE TABLE `testtb` ( `id` int(11) NOT NULL AUTO_INCREMENT, `a` int(11) DEFAULT NULL, `b` i
2013-01-22 17:54:22
446
转载 MySQL 5.5版本对普通索引增删性能的优化
MySQL 5.5版本对普通索引增删性能的优化转自：http://www.mysqlops.com/2011/11/01/mysql-alter-index-performance-optimize.html导读：传说5.5对于非聚集索引添加、删除性能上做了很大改善，在5.5之前版本中，ADD INDEX,DROP INDEX 需要拷贝整个表的，这样在生产环境上修改索引带来
2013-01-22 17:42:12
494
转载 mysql explain 中key_len的计算
今天丁原问我mysql执行计划中的key_len是怎么计算得到的，当时还没有注意，在高性能的那本书讲到过这个值的计算，但是自己看执行计划的时候一直都没有太在意这个值，更不用说深讨这个值的计算了：ken_len表示索引使用的字节数，根据这个值，就可以判断索引使用情况，特别是在组合索引的时候，判断所有的索引字段都被查询用到。在查看官方文档的时候，也没有发现详细的key_len的计算介绍
2013-01-22 16:22:03
530
转载 innodb_flush_method 与 File I/O
innodb_flush_method 与 File I/O2009-08-30 | 19:10分类：技术细节 | 标签：File IO、Linux | 15,202 views陶方在《innodb_flush_method带来的性能影响》中从实验角度比较了fdatasync，O_DSYNC和O_DIRECT在性能上的差异。本文将试图从Linux/Unix"文件
2013-01-17 18:37:32
297
转载 MySQL数据库的字符集和copy_and_convert 字符集不同导致CPU资源额外消耗
关于copy_and_convert在对MySQL做业务压力测试的时候，我们在perf结果中发现 copy_and_convert 是一个耗费cpu的操作。这个函数的意思，就是在字符集之间做内容转换。如果源和目标的字符集相同，就可以直接用memcpy，这显然比做字符集转换（按字节或字长拷贝更快，和节省cpu）当整个系统是CPU瓶颈时，我们希望能够减少这种cpu消耗。一次查询
2013-01-17 18:25:16
478
转载 MySQL的timeout那点事
转自：http://www.mysqlops.com/2011/11/24/mysql_timeout.htmlMySQL的timeout那点事因为最近遇到一些超时的问题，正好就把所有的timeout参数都理一遍，首先数据库里查一下看有哪些超时：root@localhost : test 12:55:50> show global variables like "%ti
2013-01-17 17:55:13
556
转载 也说快速关闭MySQL/InnoDB
转自：http://www.orczhou.com/index.php/2010/12/more-about-mysql-innodb-shutdown/如果用的引擎是InnoDB，每次敲下mysqladmin -uroot -p shutdown关闭数据库的时候，总是很难预测这个命令会执行多久，实际经验表明，短则五秒，长则三十分钟一小时都有可能。也分享一下我的经验吧。1. 为
2013-01-17 16:35:42
470
转载 mysql中semi-join的优化策略介绍
转自：http://blog.sina.com.cn/s/blog_4673e60301011qvx.html1. 背景介绍什么是semi-join？所谓的semi-join是指semi-join子查询。 该子查询具有如下结构：SELECT ... FROM outer_tables WHERE expr IN (SELECT ... FROM inner_tables ...
2013-01-16 16:45:36
1601
转载 Mysql Innodb中undo-log和MVCC多版本一致性读的实现（源码分析）
Mysql Innodb中undo-log和MVCC多版本一致性读 的实现 转载▼转自：http://blog.sina.com.cn/s/blog_4673e603010111ty.html 本文主要介绍mysql中innodb引擎undo-log和事务中MVCC多版本一致性读的实现。1. 概述Innodb引擎的
2013-01-16 16:36:00
1687
转载 XFS设计
本文转载自：http://www.ibm.com/developerworks/cn/linux/filesystem/l-fs9/老叶备注：xfs之所以能比ext3高效，主要得益于几点：更合理的设计导致减少不必要的磁盘操作，尽可能利用内存分配组(allocation groups)的设计使其能并行处理无处不在的B+树索引，大大提升了效率独特的日志记录方式，避免了日志文件系统通病延
2013-01-16 16:26:00
634
转载 超越MySQL：三个流行MySQL分支的对比
导读：尽管MySQL是最受欢迎的程序之一，但是许多开发人员认为有必要将其拆分成其他项目，并且每个分支项目都有自己的专长。该需求以及Oracle对核心产品增长缓慢的担忧，导致出现了许多开发人员感兴趣的子项目和分支。本文将讨论受人们关注的三个流行MySQL分支：Drizzle、MariaDB和Percona Server（包括XtraDB引擎）。文中简要介绍每个分支出现的原因及其目标，以及是否可在您自
2013-01-15 20:16:37
471
转载 MySQL 5.5 新特性
MySQL5.5默认数据库存储引擎将是InnoDB plugin(以后是选择什么样的情况下使用MyISAM); 用Metadata Locking (MDL) Framework替换了原来的LOCK_open mutex (lock)，使得MySQL5.5在4核以上的服务器中性能得到提升; 其他一些Replication加强：Slave fsync tunning, Relay
2013-01-15 18:00:08
623
转载 innodb insert buffer
innodb insert buffer merging http://dev.mysql.com/doc/refman/5.0/en/innodb-insert-buffering.html主键是唯一标识符，新行是按主键升序插入的，这是数据库应用的共同情况。因此，向clustered index插入不需要磁盘的随机读。相反，secondary index通常不是
2013-01-15 17:48:52
627
转载 Mysql InnoDB行锁实现方式
InnoDB行锁是通过给索引上的索引项加锁来实现的，这一点MySQL与Oracle不同，后者是通过在数据块中对相应数据行加锁来实现的。InnoDB这种行锁实现特点意味着：只有通过索引条件检索数据，InnoDB才使用行级锁，否则，InnoDB将使用表锁！ 在实际应用中，要特别注意InnoDB行锁的这一特性，不然的话，可能导致大量的锁冲突，从而影响并发性能。下面通过一些实际例子来加以说
2013-01-11 16:49:14
339
转载 Percona-Server/MySQL响应时间统计
在Percona的5.1.53和5.5.8版本，开始将RT的统计内置到MySQL Server端。Thanks, Percona.Percona在提供了tcprstat工具统计RT时间之后，很快就在Percona Server中集成了响应时间统计的功能。这里介绍一下该功能，各位看官如果在犹豫选择Percona Server还是MySQL Community Server，这里给Perc
2013-01-11 16:17:19
480
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人