![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库技术
文章平均质量分 67
zedware
https://zedware.github.io
展开
-
Hadoop NameNode and Checkpoint
https://zedware.github.ioManagement of data is the core task of storage and database systems. Furthermore, lessattention is on metadata, esp. in the traditional systems. Even in the designof parallel or distributed systems, architectures often assume tha原创 2022-06-11 19:13:02 · 235 阅读 · 0 评论 -
[朝花夕拾]空值的问题
空值的问题[1]空值的含义 空值(NULL)在关系模型中可以有两种定义:1、空值表示可以给该列赋值,但是目前还没有赋值;2、空值表示该列不可以被赋值。RDBMS支持的一般都是第一种类型,SQL标准也是这样定义的。NULL引起的EXISTS子句错误 1989年9月,C.J.Date在“Database Programming & Design”上发表了题为“Bew原创 2014-03-04 22:00:44 · 23729 阅读 · 0 评论 -
久违的SQL标准
很久没有什么工作需要参考SQL标准了,乃至于SQL:2011的更新都一直没有去关注过。SQL标准一路走来,可以说是略显老态了,参与的厂商比较少,关注的人也少了。绝大多数人提起SQL标准,涉及的内容其实是SQL89或SQL92里头最基本或者说最核心的一部分。其实,自从SQL:1999开始,它已经发福了。绝大多数人都不需要去一字一句的阅读标准,而且标准每次更新的时候,都会有委员会的成员们为大家提供比较原创 2014-03-25 23:09:18 · 24205 阅读 · 0 评论 -
Facebook的MySQL SemiSync改进
MySQL的binlog复制以及SemiSync看起来不那么高级,但确实在一点点进步:http://yoshinorimatsunobu.blogspot.com/2014/04/semi-synchronous-replication-at-facebook.html?showComment=1396485185807#c354182842225638292转载 2014-04-03 08:33:17 · 23418 阅读 · 0 评论 -
Facebook, Google, Twitter, Linkedin推出了WebScaleSQL
名字看起来很可怕的样子:Web Scale。实际是基于Oracle的社区版本MySQL 5.6做的,加了一些工具和补丁。先看看这个新闻:http://www.informationweek.com/big-data/software-platforms/facebook-debuts-web-scale-variant-of-mysql-/d/d-id/1141521下面这一段是已经开发完原创 2014-03-28 22:23:24 · 25168 阅读 · 0 评论 -
数据库中的数据类型
数据库中的数据类型通常有很多种,也有不同的分类方法。例如最常见的数值型、字符型、日期时间型,也有不太常见的布尔型、枚举型、集合型等。要在DBMS中实现某种具体数据类型(例如最简单的INTEGER)的支持,我们可以从以下几个方面来考虑。1. 数据类型的名称 数据类型名称可以出现在DDL语句中,也可以出现在INFORMATION_SCHEMA等返回的元信息中。 有的数据类型因为原创 2014-03-14 19:42:49 · 24355 阅读 · 1 评论 -
Facebook的社交类Benchmark: LinkBench
LinkBench: A database benchmark for the social graphhttps://www.facebook.com/notes/facebook-engineering/linkbench-a-database-benchmark-for-the-social-graph/10151391496443920April 2,转载 2014-03-12 20:51:40 · 24041 阅读 · 0 评论 -
[朝花夕拾]可更新视图
可更新视图1.视图概述 视图是从一个或多个基表(或视图)导出的表。通常视图仅仅是一个虚表,即数据库中只存放视图的定义信息等元数据,而不存放视图对应的数据。 视图上的操作和基表类似,但是 DBMS对视图的更新操作(INSERT、DELETE、UPDATE)往往存在一定的限制。 DBMS对视图进行的权限管理和基表也有所不同。 视图可以提高数据的逻辑独立性,也可以增加原创 2014-03-04 21:59:01 · 23337 阅读 · 0 评论 -
Granola: Low-Overhead Distributed Transaction Coordination
论文里的结论总是很美好。AbstractGranola: Low-Overhead Distributed Transaction CoordinationThis paper presents Granola, a transaction coordinationinfrastructure for building reliable distribu转载 2014-03-03 22:10:30 · 23509 阅读 · 0 评论 -
MySQL thread pool
这是Oracle MySQL的实现:http://mikaelronstrom.blogspot.com/2011/10/mysql-thread-pool-summary.html这是MariaDB的实现:http://worklog.askmonty.org/worklog/Server-BackLog/?tid=246这是Percona的增强:http://www.perco原创 2014-01-29 15:02:57 · 23313 阅读 · 0 评论 -
娱乐版TPC测试
测试TPC本来是个严肃的事情,这里只是为了娱乐一下。不要和TPC委员会的高端报告混为一谈就好了。1. 先去找个不那么标准的TPC-C测试工具似乎Percona MySQL的这个东西用得人还比较多:http://bazaar.launchpad.net/~percona-dev/perconatools/tpcc-mysql/简单的看了一下实现,这个和标准的差距还是较大的原创 2014-01-27 16:35:01 · 23969 阅读 · 0 评论 -
Making Use of Boost Geometry in MySQL GIS
看样子MySQL还是打算改进GIS支持。Making Use of Boost Geometry in MySQL GISApril 9, 2014GIS, MySQLBoost, GEOMETRY, GIS, OGC, SPATIAL, WKB, WKTDavid ZhaoThis post talks about how we make use of Boo转载 2014-04-10 19:47:12 · 24097 阅读 · 0 评论 -
NULL与唯一性约束
NULL是个很特殊的东西,也容易引起一些问题。参看:http://blog.csdn.net/zedware/article/details/20488167。转载 2014-04-08 19:59:03 · 24103 阅读 · 0 评论 -
Bloom Filter in Oracle Database
Bloom Filter in Oracle Database原创 2011-03-07 21:18:00 · 23823 阅读 · 0 评论 -
Re-factoring some internals of prepared statements in 5.7
http://mysqlserverteam.com/re-factoring-some-internals-of-prepared-statements-in-5-7/转载 2016-04-08 23:37:58 · 827 阅读 · 0 评论 -
嵌套查询的查询优化
嵌套查询的查询优化Table of Contents1. 嵌套查询的分类和优化概述2. Kim: On Optimizing an SQL-like Nested Query2.1. 嵌套查询的分类2.1.1. A 类2.1.2. N 类2.1.3. J 类2.1.4. JA 类2.1.5. D 类2.2. 嵌套查询的优化3. Kiessling, SQ原创 2016-03-31 19:21:26 · 27242 阅读 · 0 评论 -
用SQL找出前N名
SQL获取前N名 TOP N TOP K原创 2016-03-18 20:39:21 · 23951 阅读 · 0 评论 -
文件系统和数据库的对比
文件系统和数据库的对比本文主要从单机系统的角度出发,对比通用的文件系统和数据库技术。想到哪里就写到哪里,遗漏的地方应该很多。共同点:同属于系统软件或底层软件都是用来存储和访问数据的都有着悠久的研究开发历史都有成熟的标准或规范。这既有利于开发可移植的程序,又不利于开发创新的系统,特别是分布式系统。实现技术上也有很多的共同点大都采用C/C++这样更底层的语言原创 2015-03-31 20:30:06 · 27426 阅读 · 0 评论 -
说说FoundationDB
FoundationDBApple收购了FoundationDB1,而且后者从开源立即变成了闭源。说实话,在此之前都没有注意到还有这么一个DBMS产品2。从官网上看,它的一些设计理念还是比较切合实际的,毕竟分布式DBMS存在很多难以解决的问题,要在短期内做到Oracle等传统RDBMS那样的程度是不现实的。例如它把重点放到了核心特性上,做了取舍3,4:可扩展性,采用Shared-not原创 2015-03-29 18:36:49 · 24424 阅读 · 0 评论 -
重读A Critique of ANSI SQL Isolation Levels
A Critique of ANSI SQL Isolation Levels1. 1995年发表。2. SQL是以现象(phenomena)来定义四个隔离级别的,但是与实际系统差别太大。3. SQL没有涵盖某些常见的隔离级别,特别是多版本并发控制下的Snapshot Isolation。4. 关系数据库ACID默认是要支持可串行化的,不过实际系统大多提供了较低的隔离级别。这也原创 2015-01-04 20:42:37 · 24154 阅读 · 0 评论 -
SQL标准简介
按:这是基于我很早以前写的几篇短文重新整理的。 SQL是Structured Query Language的缩写,它的前身是著名的关系数据库原型系统System R所采用的SEQUEL语言。作为一种访问关系型数据库的标准语言,SQL自问世以来得到了广泛的应用,不仅是著名的大型商用数据库产品Oracle、DB2、Sybase、SQL Server支持它,很多开源的数据库产品如Postg原创 2014-12-11 13:58:39 · 23907 阅读 · 0 评论 -
ACID
细节其实很多。。。1 到底什么是ACID首先需要说明的是,在IT领域,很多名词在不同的上下文环境中的语义是不同的。例如某些产品宣称支持“100% ACID”和“强一致性”等。那么,这些名词到底指的是什么?如果不结合具体的语境,我们很可能产生各种误解。在没有NoSQL,也更没有NewSQL之前,我们需要关注的是数据库产品支持的隔离级别的差异,而不需要关心它们到底实现了ACID没有。因原创 2015-01-10 21:39:56 · 23640 阅读 · 0 评论 -
MySQL的词法分析漫谈
这个链接上有点介绍,可以了解个大概:http://blog.imaginea.com/mysql-query-parsing/ 关键点:1. SQL解析包括语法分析器和词法分析器。 简便的做法是用bison/flex组合。不过MySQL的词法分析器是手工打造的。 语法分析器的入口函数是MYSQLparse,词法分析器的入口函数是MYSQLlex。2. 词法分析中原创 2014-06-11 18:28:07 · 24660 阅读 · 1 评论 -
回顾一下著名的BigTable论文
GFS解决了某些业务场景对分布式文件系统需求,很自然的,也有某些业务仅仅靠文件系统用起来还是不那么方便,它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为:1. 结构化数据2. 数据量大3. 典型应用:Web索引,Google Earth,Google Finance4. 批处理和实时需求5.原创 2014-06-30 00:06:57 · 25941 阅读 · 0 评论 -
Stonebraker教授的文章:Thoughts on the VLDB conference
Stonebraker是个著名数据库研究人员,开源数据库中的代表PostgreSQL就是源于他在加州大学伯克利分校的科研成果。 http://databasecolumn.vertica.com/database-miscellaneous/thoughts-on-the-vldb-conference/ Thoughts on the VLDB conferen转载 2009-12-28 23:48:00 · 23824 阅读 · 0 评论 -
介绍Stonebraker和DeWitt教授的文章:MapReduce: A major step backwards
以下引用的两篇文章作者为:David J. DeWitt and Michael Stonebraker MapReduce: A major step backwards,说明了MapReduce虽然很热也可能很好,但是: A giant step backward in the programming paradigm for large-scale data intensiv原创 2009-12-29 00:37:00 · 23929 阅读 · 1 评论 -
NoSQL的Spring
NoSQL的Spring转载 2010-09-20 00:23:00 · 23291 阅读 · 0 评论 -
TPC-E成绩蹿升 X86靠实力冲锋关键应用
TPC-E成绩蹿升 X86靠实力冲锋关键应用转载 2010-09-20 12:15:00 · 23401 阅读 · 0 评论 -
Oracle与MySQL中“可串行化”的对比测试
Oracle与MySQL中“可串行化”的对比测试 Thomas Kyte 在“Oracle 9i&10g编程艺术”一书中为了说明事务的隔离级别,提供了一些例子。这里我们来看看“可串行化”级别下的表现。以普通用户登录系统,并创建测试用的表。idle> connect scott/tigerConnected.scott@FOO> select * fro原创 2010-04-26 12:52:00 · 23975 阅读 · 0 评论 -
自治事务(Autonomous Transaction)
“事务”是一个大家耳熟能详的名词了。事务具有四个基本的特性,我们分别将其称为原子性(Atomic)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。统称为ACID。与事务有关的还有“分布式事务”、“超长事务”等正式和非正式的名词。这里要说的是“自治事务”(Autonomous Transaction)。 自治事务可能是Oracl原创 2010-04-23 17:21:00 · 23721 阅读 · 0 评论 -
TPC slaps Oracle on benchmark claims - Watchdogs to Larry: 'You lie!'
TPC slaps Oracle on benchmark claimsWatchdogs to Larry: You lie!from http://www.theregister.co.uk/2009/09/29/tpc_slaps_oracle/.转载 2010-03-26 09:50:00 · 23646 阅读 · 0 评论 -
MySQL是不行了,又有人舍弃它了。但是,SQL和关系数据库还行
Digg也不用MySQL,而改用Cassandra了:http://about.digg.com/node/564。 除了新闻之外,我们还得看看背后的技术。http://www.dbms2.com/2009/07/01/nosql-sql-alternative/#more-827原创 2010-03-18 18:53:00 · 23459 阅读 · 0 评论 -
Dec 14, 2009 01:00 ET: Oracle Makes Commitments to Customers, Developers and Users of MySQL
Dec 14, 2009 01:00 ET: Oracle Makes Commitments to Customers, Developers and Users of MySQL 半个月前,著名的甲骨文受不了欧盟的反垄断折腾了,做出了这么10条承诺。不过我觉得这么写承诺未必有什么实质的意义,也许只是给欧盟个回应,以后并购后该怎么样还是怎么样。虽然Oracle早几年就视MySQL为一个原创 2009-12-30 01:25:00 · 23785 阅读 · 0 评论 -
ODBC重新焕发生机
ODBC是数据库访问接口中的一员大将。我们可以从SQL标准的SQL/CLI中看到它的身影,也可以从JDBC中看到它的巨大影响。随着数据库技术的发展,ODBC在1990年代中期就已经非常成熟稳定了,在随后的这些年中基本停止了发展。随着微软Windows 7的发布,ODBC又推出了3.8版本,在以下几个方面做出了较大的改进(引用自微软的Whats New in ODBC 3.8):原创 2009-12-26 22:37:00 · 23523 阅读 · 0 评论 -
折腾:一个小破ASP程序也能浪费不少时间
弄了个学生作业性质的ASP小程序来试试,谁知道麻烦不断。1. 在网上闲逛,搜来一个作业一样的ASP小程序;2. 解压看了看,一共没有几个ASP文件,加上一个几个表的小Access数据库;3. 发现Windows XP上没有装IIS,于是装上;4. 在IIS中部署上这个小网站;5. 在IE8中去访问以下,OK;可是表单中填写的数据就是不能被Request捕获到,没搞明白,待查;原创 2010-02-04 00:23:00 · 24236 阅读 · 0 评论 -
国内第一个自主设计开发的数据库管理系统SKGX
国内的厂商们喜欢称自己是XX第一,不过很多不太靠谱。中科院数学与系统科学研究院周龙骧老师说的这个事情可能更靠谱,因为从时间上看,1970年代末国内才刚开始做数据库管理系统的研究和实现。原文请参看:一段不应被遗忘的历史——记DJS100系列机上数据库管理系统SKGX。原创 2009-12-05 02:07:00 · 26073 阅读 · 1 评论 -
微软的数据访问技术(From MDAC to Windows DAC)
在过去的很多年中,微软发展了很多种具体的数据访问技术。然而,随着技术的发展和进步,很多技术现在都显得很过时了;有些技术因为被非常广泛的使用,仍然得到了一定程度的维护和支持。10多年前被视为主流的技术,到今天不是被彻底抛弃就是被视为Legacy了。这里是微软的:Data Access Technologies Road Map。它的维护历史为:January 2002;Revised D原创 2009-12-01 22:09:00 · 24940 阅读 · 0 评论 -
Impact of Disk Corruption on Open-Source DBMS
http://www.cs.wisc.edu/adsl/Publications/corrupt-mysql-icde10.pdf原创 2011-01-15 19:48:00 · 25336 阅读 · 0 评论 -
Architectural options for analytic database management systems
Architectural options for analytic database management systems原创 2011-01-20 23:43:00 · 23449 阅读 · 0 评论 -
Collection of debates on O_DIRECT.
有空看看各种不同角色的讨论,还是有点意思的。先从Linus的这个开始:O_DIRECT (Larry McVoy; Linus Torvalds) - Yarchive注意,这个帖子有点长,而且时间跨度有点大。要有点耐心才能看完。早些年开始学DBMS的人都知道为什么要用 O_DIRECT,事实上也有很多的系统就是这样做的。当初的文件系统其实很弱,很多方面反而是DBMS先搞出来的,二者在原创 2014-02-28 22:52:22 · 23637 阅读 · 0 评论