自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 数据库为什么要有自己管理数据缓冲区?

1. 性能操作系统对数据缓冲区的支持各有不同,而且从操作系统获取缓存页面的时间(指令)要比直接从内存自有缓冲区获取的时间长。2. LRU 替换算法操作系统一般采用LRU页面替换算法,但是数据库对页面的访问模式多样化,比如随机访问,顺序访问等等。操作系统LRU并不能很好的支持数据库的运行。3. 数据预读操作系统也会对数据页进行预读,但是仅限于物理相邻的页。数据库的

2012-09-04 17:01:21 930 2

原创 浅析Join index

Teradata的join index像ORACLE的物化视图(Materialized View),基本思想就是把常用的公用的join查询物化为一个实际的表。这样的好处在查询的时候,如果优化器匹配到相应的join index,则直接通过其物理表读取数据,而不是做实际的join操作。这样的代价就是在基表做insert,update和delete的时候,需要对关联的join index进行更新。这个

2012-08-06 16:37:42 1914

原创 增量装载

1. 数据有时间戳2. 改变数据的捕获增删查改的触发器,根据数据库的不同而不同。

2012-07-26 15:29:55 537

原创 数据装载之数据校验

在数据迁移或数据装载中,如何判断数据的正确性?有些数据可能没有被迁移,已经迁移成功的数据可能某些字段不一致。在大数据量的情况下,数据的校验还是很有必要的。现在说一下对单表验证的一些简单想法:1. 校验和法这种做法简单直接。在源表上通过自定义的函数生成一个校验和,然后数据导出后,在目标表生成一个校验和。两个检验和进行一一对比即可。这里一一对比要配合主键,另外要考虑到源库和目的库可

2012-07-26 15:03:44 341

原创 写文件的并发问题

      上周接到一个bug,大致情况是在tpcc测试中,数据库掉电6次,就会起不来。内部测试,因此有数据可供调试。对日志文件进行分析后,发现,主日志文件头后面紧接着的4k居然也是日志头格式,难怪日志解析出错!      这就很令人费解了。检查日志代码中写日志头的代码,所有调用文件写的地方,偏移都没有错。第一反应是,莫非缓冲区溢出,导致日志缓冲区的内容被覆盖?这个也太邪乎了,如果是这样,问题

2009-05-31 17:17:00 746

转载 _stdcall 与 _cdecl 的区别

_stdcall 与 _cdecl 的区别几乎我们写的每一个WINDOWS API函数都是__stdcall类型的,首先,需要了解两者之间的区别: WINDOWS的函数调用时需要用到栈(STACK,一种先入后出的存储结构)。当函数调用完成后,栈需要清除,这里就是问题的关键,如何清除??如果我们的函数使用了_cdecl,那么栈的清除工作是由调用者,用COM的术语来讲就是客户来完成的。这样带来了一个棘

2008-06-23 21:28:00 329

原创 SQL Server 2005页面校验探究

     库有一个选项是PAGE_VERIFY,可以设置为TORN_PAGE_DETECTION。文档上说利用每个扇区上一个位的反转来实现页面IO的完整性。琢磨了半天,终于明白了实现原理。    页大小为8K,磁盘扇区大小为512字节,假设每个扇区去第一个字节的第一个位来反转,页头中有16个位记录扇区的反转位,另外16个位来记录位的反转是否为手动反转,即区分是否为页面实际修改。    举个

2008-06-12 11:59:00 513

原创 通讯录

  以前一直想做一个通讯录的软件,因为手机丢失后,整理一个新的通讯录好麻烦。很多人可能因此没有了联系。虽然除了手机号码之外,还可能通过qq,msn,邮箱等联系,但手机则是最方便快捷的方式。如果做成单机版的,信息是保留了,但也存在不方便的地方。于是乎想做成网络版的,网络版得考虑到用户的隐私问题。这就是很矛盾的地方。考虑到手机和网上通讯录的交互,未来手机都是掌上电脑了,手机操作系统上自带一个好的通讯录

2008-06-04 21:08:00 321

原创 声控电脑

  现在电脑软件越装越多,有时候为了打开一个程序,找遍桌面和程序菜单,比较烦人。于是想要是如果能声控就好了,当然声控只是协助了。比如我想打开迅雷,只要叫一声“迅雷”,迅雷就打开了,那该多好。如果能继续用声音控制菜单,那自然更好。     于是google了一下,发现ibm在声控软件方面做的很好,应该是遥遥领先。东芝还推出过声控的笔记本。现在应用最多的是声控在word中输入文档,这种方法对手有残

2008-06-04 20:52:00 925

原创 声控电脑

  现在电脑软件越装越多,有时候为了打开一个程序,找遍桌面和程序菜单,比较烦人。于是想要是如果能声控就好了,当然声控只是协助了。比如我想打开迅雷,只要叫一声“迅雷”,迅雷就打开了,那该多好。如果能继续用声音控制菜单,那自然更好。     于是google了一下,发现ibm在声控软件方面做的很好,应该是遥遥领先。东芝还推出过声控的笔记本。现在应用最多的是声控在word中输入文档,这种方法对手有残

2008-06-04 20:50:00 1219 1

原创 base64编码的用处~

在生成一条sql语句,某个字段是进行了加密的情况下,容易出现加密后出现单引号的情况。一般可以进行转义。但是还有一种较好的方法就是利用base64算法对密文进行编码!

2008-05-22 11:06:00 655

原创 页面校验调试问题

对数据库缓冲区的页面进行页面校验,写校验和的时机是数据每次对页面修改提交的时候,对系统性能还是有一定的影响,检验的时机是该页第一次被调入内存。结果在调试的时候,发现一种怪现象,对某个页进行校验时,不设置断点,校验出错,设置断点后校验成功。郁闷之极,后来终于发现了问题:系统有一种调入页面的方式就是,只发读命令,没有等待页面调入内存就返回,执行某些操作后,再来等页面调入。我检查的地方就是在页面调入内存

2008-05-22 11:02:00 335

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除