Database General
文章平均质量分 71
介绍通用数据库相关技术以及实际案例。
iihero
微信:_iihero 原创文章集中在公众号: 数据库杂记
SAP研究院数据库技术专家, PostgreSQL ACE
涉猎于Sybase,Oracle,HANA,MySQL等多种数据库。
三本著作:<Java2网络协议内幕><OracleSpatial及OCI高级编程>
<SybaseASE15.X In Action>
同时也是中国武术六段 陈式太极拳教练 国家一级段位考评员
北京陈式太极拳研究会副秘书长
也欢迎联系我学太极拳,强身健体!
展开
-
深入搞懂Checkpoint调优基础及原理
在执行大量写操作的系统上,调优检查点对于获得良好的性能至关重要。然而,检查点是我们经常发现混淆和配置问题的地方之一,无论是在社区邮件列表中,还是在为客户提供支持和咨询期间。这篇文章旨在解释检查点是什么——目的和数据库如何实现它——以及如何调优它们。注:这是在2016年最初原作者写的一篇博文的更新版本,更新后反映了PostgreSQL配置的各种变化。否则,总体调优方法基本保持不变。现在您应该了解了检查点的目的,以及调优检查点的基本知识。原创 2024-07-26 07:24:04 · 909 阅读 · 0 评论 -
优化技法:使用In-memory Disk代替PostgreSQL中的临时文件
下边的内容来自技术博客,感觉内容真心不错。完整的介绍到这里,与大家共享。最近,在调试一个CREATE INDEX操作的性能问题时,我被提醒,PostgreSQL在执行并行查询(包括并行索引创建)时可能会产生临时文件,因为每个工作进程都有自己的内存,可能需要使用磁盘空间来排序或散列表。所以,为了尝试加快索引创建,我认为使用tmpfs将这些临时文件直接移动到内存中是有益的,并想测试这个理论,写这篇博客文章:-)原创 2024-07-26 07:22:37 · 574 阅读 · 0 评论 -
不尝试一下?计算机领域两大赛事来了!!
最近,熊二新来的同事小强比较关注国内的一些赛事信息。这不,近期有两大赛事。这两大赛事,主要还是面向高校学生的。一个是搞网络安全方向的:第二届京麒CTF挑战赛,另一个是搞数据库方向的:2024年全国大学生计算机系统能力大赛 数据库管理系统设计赛。CTF (Capture The Flag),搞网络安全的大都应该知道这个。想懂的都懂,不懂的百度一下就知道咋回事。原创 2024-05-04 07:29:43 · 1129 阅读 · 0 评论 -
国产数据库的发展势不可挡
国产数据库的发展势不可挡, 趋势不可违逆。原创 2024-05-04 07:23:26 · 425 阅读 · 0 评论 -
造数据,别慌!使用python faker创建大批量随机测试数据
在数据库的使用过程中,有很多场合是要自行去构造大规模数据,以供测试、性能功能验证使用。PostgreSQL - 大规模随机数据生成方法里介绍了PostgreSQL中生成大规模随机数据的方法。这种方法,生成数据比较快,但是数据大多是对业务场景没有太大意义的数据,或者说对业务不够友好。本文再介绍通过一些第三方库,插入一些相对友好的随机数据。那就是通过Python faker库来生成数据。Faker是一个Python软件包,可为您生成伪造数据。原创 2024-04-14 09:57:56 · 1057 阅读 · 2 评论 -
理解PostgreSQL中的postmaster.pid
在PG中,一个简要的体系结构图可以大致画成下边的样子:Server端基本上分成backend process和若干background process。这些process都是一个名为postmaster进程的子进程。而postmaster则是postgres进程的别名。原创 2024-04-07 10:06:11 · 566 阅读 · 0 评论 -
SQLite Blob读写的局限性
在使用SQLite在Windows Mobile上的大容量BLOB读写时,遇到一个OOM的问题,让我们都觉得不可思议: executeStmt(db, stmt, "create table foo(id integer not null primary key, content blob null, content2 blob null)"); sqlite3_s...原创 2011-11-25 13:28:44 · 257 阅读 · 0 评论 -
IT历史上三次10亿刀的收购
1995年,Sybase以近10亿美元(实际金额9.04亿)天价,收购PowerSoft(PowerBuilder,PowerDesigner的原公司),结果,被严重拖累。96-98年,Sybase陷入严重危机和亏损状态中。经过很多年的苦苦发展,才缓过气来2001年,IBM也以10亿美元收购Informix,终于消灭了Unix平台下一个强有力的数据库厂商,花钱灭对手。不过,两...原创 2009-03-23 21:26:00 · 103 阅读 · 0 评论 -
数据库的发展趋势(个人感受)
好久没上来了,现在csdn BLOG的速度终于到了自己能够承受的地步,看来改进还是不上。几个月以前,想连上去进行编辑都是一件痛苦的事。这阵子,看了一些文章,以及某些人的blog和相关论坛,感觉数据库仍然有很多工作要做,它们的生命力依然很强劲。1. 用户界面的改进。这方面,也许MS依靠自己操作系统的优势,做得最让普通用户能够接受。但是,别的商用数据库,真的让人不敢苟同。目前,DB2, Oracle,...原创 2007-07-18 22:46:00 · 771 阅读 · 1 评论 -
看了看几个数据库厂商的发展历史
这两天把Oracle以及DB2、Sybase、SQL Server几种数据库的发展历史大致看了一下,发现了一些特别奇怪的现象:1. Oracle的技术专家一定为人非常低调。 众所周知,Oracle数据库的功能确实很是强大,但是发展初期,它往往过度的向用户夸大自己的功能。即非常善于标榜自己。可是它的工程师呢,Bruce Scott早期因为承受不了巨大的开发压力(主要是向很多平台porting),将...原创 2006-08-20 18:01:00 · 276 阅读 · 1 评论 -
PostgreSQL中控制文件的解析与恢复
它的路径位于:控制文件里存储了数据库唯一系统标识符、系统状态数据、数据库启动前系统必须恢复到的检查点信息、数据库的配置兼容backend进程执行的参数、指明类型timestamp、interval、time内部格式的标志、指明不同类型传值(pass-by-value)状态的标志以及一些数据库的重要信息。我们可以通过pg_controldata命令直接读取PostgreSQL控制文件内容。控制文件内容主要分为是三部分,初始化静态信息、WAL及检查点的动态信息、一些数据库配置信息。原创 2024-03-23 22:33:08 · 1113 阅读 · 0 评论 -
使用下SAP HANA强大的Cloud控制台
SAP的HANA数据库(注:这里指是云平台版本,不是platform的本地部署版本)的版本发布,基本上每个季度都有一次发布。2024年的第一个版本内部已经Release了,很快就会推到生产环境当中。当前要发布的版本是:2024.2.6 (QRC 1/2024)。而且每个版本的维护周期最长不会超过7个月(等于半年之后有一个月的缓冲期)。更新迭代相当快。也是为了适应云环境的需求。本文并不打算介绍2024. QRC 1的新功能,待正式发布之后再进行有关功能的详细介绍。原创 2024-03-23 03:50:07 · 77 阅读 · 0 评论 -
高可用: 体验使用Odyssey连接池(一)
关于 Odyssey ,它是一种相对高级的多线程 PostgreSQL 连接池。内部采用异步的多线程体系结构,使用事件驱动的异步方式来实现 内部逻辑,但是对外提供的接口看起来仍像是同步的过程方式,而没有采用回调的方式来实现,便于开发人员使用。从支持程度来讲,它的多线程方式比pgbouncer似乎更胜一筹,单个应用能更好的利用CPU,并且可以支持更大规模的并发。最近在总结PG的一些连接池的使用时,体验了一把Odyssey(奥德赛)连接池。顺便说一句,俄国的工程师水平还是相当不错的。原创 2024-03-23 03:30:20 · 66 阅读 · 0 评论 -
Redis 7.0.X 在Windows下编译支持TLS连接,遇坑埋坑
Redis在版本6以及以后,基于安全的需要,就开始支持TLS连接了。基于Windows版本的维护,在网上以前有两个库,一个是微软维护的,维护到3.x之后就变成archive了,见后边的参考链接。另一个库也只维护到5.x。还没有一个windows版本维护到6及以上的版本。如果仔细推敲其原因,可能还是在windows平台上用的不多吧。简单的非TLS的在windows上跑跑也不差不多了。那到底有没有可能编译出一份支持TLS的windows版本呢?原创 2024-03-19 07:00:42 · 1396 阅读 · 0 评论 -
好用的Redis 客户端工具有几个? 这里推荐两三个
记得前边为了使用windows上的命令行客户端去连接Cloud上边的 hyperscale Redis, 很是费了半天劲,才折腾出一个可以连接的支持TlS的版本。里边要用到msys + mingw,而且接连几个坑。Redis 7.0.X 在Windows下编译支持TLS连接,遇坑埋坑那么有没有单独的GUI式的客户端工具可以连接呢?如果有可能,将两者结合起来用,看着也是蛮不错的。Redis作为一款优秀的开源K/V数据库,挑选合适的GUI客户端工具还是蛮重要的。原创 2024-03-19 06:58:45 · 8686 阅读 · 0 评论 -
“趣说“Sybase ASE中有关字段大小计算
如果您看过我以前写的一些有关Sybase ASE数据库避免表膨胀的短文,可能还会有一些印象。也说说Sybase ASE中的空间膨胀及应对方案。实际上,如果不小心使用的话,仍然会遇到一些你不曾经预料的问题。原创 2024-03-16 15:52:11 · 1036 阅读 · 0 评论 -
收购Aleri资产 Sybase成功跻身成为CEP领头羊
全球领先的企业级与移动软件公司Sybase, Inc. (NYSE: SY) 近日宣布已与 Aleri Inc.正式签署资产购置合同,此举将帮助Sybase公司扩充实力,以满足金融服务等机构要求进行实时分析处理的需求。Aleri是企业级复杂事件处理(CEP)技术与基于CEP技术解决方案的领军企业。“通过此项交易,Sybase成功跻身为CEP领域的领头羊。通过增加流动性风险管理和业界领先的流动性管理转载 2010-03-19 08:53:00 · 1285 阅读 · 0 评论 -
SAP计划在上海证交所上市
网易科技讯 11月23日消息,据国外媒体报道,为了能够把中国作为其融资选择,德国软件巨头SAP正考虑在中国的上海证券交易所上市。SAP目前是全球最大的商业软件开发商,而中国是该公司业务增长速度最快的市场之一。SAP的发言人表示,“我们正在考虑第三次上市的可能性。”此前,SAP已经在德国和纽约上市。SAP希望到2015年在中国的投资额达到20亿美元,该公司目前的竞争对手主要为甲骨文、IBM和微软公司转载 2012-11-24 15:40:09 · 1193 阅读 · 0 评论 -
新闻——Sybase签署最终协议收购Mobile 365公司
Sybase签署最终协议收购Mobile 365公司 此收购使Sybase成为首屈一指的移动信息和内容供应商转载 2006-09-11 10:21:00 · 1730 阅读 · 0 评论 -
PostgreSQL有意思的现象:支持不带列的表
以前从没有试过建一张表,不带任何列。在PG中却支持这种语法。这是个什么鬼?最近,把PG源码扒了下,简单浏览了下最近的一些merge。简单的说,是它考虑到一张表,在初始SYNC时,有可能没有任何列。按自己的印象,别的DBMS好像没有支持这种语法的。原创 2023-12-03 15:56:52 · 307 阅读 · 0 评论 -
PostgreSQL中常用的几种连接池总结及更新
PostgreSQL的多进程结构,使得在支持大规模连接的时候,服务器端显得比较吃亏。一般上了1000个连接以上的时候,系统就会受到很大影响。这个时候,使用连接池,优势就会突显出来了。在云环境下,一个JAVA应用服务,可能会启动成多个进程实例,而每个进程实例又依赖于java的数据库连接池,不管是Hikari,还是阿里的druid,还是其他的一些所谓的高性能连接池,因为都是基于连接会话的,最终并不能对总的连接进程数有多大缓解。在唐成老师的ZQPool 1.3 发布一文中,甚至对此都有吐糟。原创 2023-12-03 15:53:21 · 2062 阅读 · 0 评论 -
数据库索引的创建基本守则
介绍数据库应用开发过程中SQL索引创建的最基本守则, 简单实用。原创 2022-06-13 07:10:03 · 487 阅读 · 1 评论 -
Sybase ASE及其它产品的license获取与生成
在使用正版Sybsase产品的时候,都会根据你机器的hostid为你提供一个正式的商用license.这个hostid是唯一的标识,非常重要。生成hostid,最常见的是根据网卡的mac地址:M:\target\sysam-2.2\bin>lmutil lmhostidlmutil - Copyright (c) 1989-2008 Acresso Software Inc. Al...原创 2011-09-26 10:37:04 · 599 阅读 · 1 评论 -
Oracle11.2.0非安装版(简装版)制作完成(仅供开发人员参考使用)
作者: iihero@CSDN, 2012.3.11. 请尊重个人劳动。如若转载,请注明原始出处。Thanks.下载地址:[url]http://download.csdn.net/detail/iihero/4131001[/url](免责声明): 这是一个精简版的oracle11g for windows 32bit x86平台.此压缩包,仅供学习研究使用,本文...原创 2012-03-11 13:57:01 · 134 阅读 · 0 评论 -
DBCP连接池的最简单应用(用于ORACLE数据库)
鉴于有人问起DBCP直接用于JDBC连接的问题,我做了一个最简单的示例。所有资源来源于网上。它不需要什么Web容器,就是一简单的控制台应用。资源:http://apache.etoak.com//commons/pool/binaries/commons-pool-1.5.6-bin.ziphttp://labs.renren.com/apache-mirror//commons/...原创 2011-11-19 05:54:25 · 127 阅读 · 0 评论 -
删除数据库(ASE/ASA/Oracle)表中的重复行(小结)
本文为iihero原创,如若转载,请注明出处。谢谢。为简化问题:设表:t(id int, col2 varchar(32))1. ASE:选出重复的行:select * from t group by id, col2 having count(*)>1删掉重复的行,alter table t add col3 int identity not null;de...原创 2010-04-06 22:57:00 · 111 阅读 · 1 评论 -
也来说说SQL语句中NULL的真实含义
NULL,表示不明确、未知的列值测试表:testnull(id varchar(32))数据库:Sybase ASA11.0行数据(''), (NULL)数据库选项ansinull为true(也是ASA数据库的默认选项)时,select * from testnull where id = nullselect * from testnull where id != nul...原创 2009-01-23 15:05:00 · 206 阅读 · 1 评论 -
原来数据库也有“云“计算
在网上一搜数据库“云”计算,会出现一堆的帖子。也许,它会引领下一轮数据库发展的新潮流。下边是简要的摘了一小段,来描述,什么是“云计算”。当微软最近举办的MIX08互联网大会上宣布通过SQL Server数据业务将查询处理和存储功能带入到云计算领域的战略构想时,吸引了不少业内观察家的眼球。数<!-- server 正文页网画中画广告 --> 据库市场的其他主要竞争对手是否也会紧随其后...原创 2008-03-15 18:18:00 · 92 阅读 · 1 评论 -
在google code上开了一个java版的ETL小工具project:jmyetl
以前,曾经利用各数据库底层C-API作wrapping,实现了若干异构数据库间数据导入导出的功能,但是代码复杂,不便开源。下午,用java写了一个简单的数据抽取程序,实现MySQL数据库到Sybase ASE的数据移植。将它开源,放到:http://code.google.com/p/jmyetl/上边了。本来取名做myetl,结果已经有人在sf.net上申请了,后来在其前加上一个j。以示ja...2009-03-08 22:08:00 · 87 阅读 · 0 评论 -
删除数据库(ASE/ASA/Oracle)表中的重复行(小结)
本文为iihero原创,如若转载,请注明出处。谢谢。为简化问题:设表:t(id int, col2 varchar(32))1. ASE:选出重复的行:select * from t group by id, col2 having count(*)>1删掉重复的行,alter table t add col3 int identity not null;de...原创 2010-04-06 22:57:00 · 146 阅读 · 1 评论 -
Comparison of different SQL implementations(整理)
Comparison of different SQL implementationsThe goal of this page — which is a work in progress — is to gather information relevant for people who are porting SQL from one product to another and/...原创 2010-05-15 10:02:00 · 239 阅读 · 1 评论 -
数据库各厂商发展历史之(补记: SAP MaxDB)
如若转载,请务必注明出处,尊重个人劳动。iihero 2010.5.18 于CSDN原本以为会在MySQL的发展历史里交代清楚,才发现,MaxDB在MySQL的发展过程中只是一个过客。本文写于SAP收购Sybase之际,是想说明SAP公司自身也有一款数据库,叫MaxDB。MaxDB是一种大型高效的企业数据库。数据库管理通过了SAP认证。MaxDB是数据库管理系统的新名称,以前称...原创 2010-05-18 07:17:00 · 247 阅读 · 1 评论 -
7zip命令行用法
7zip功能很强大,你只要两个文件:7z.exe以及7z.dll就可以使用命令行工作了。Usage: 7za [...] [...] []1. "a",添加文件7z a -t7z files.7z *.txt2. "d", 删除文件7z d archive.zip *.bak -r从zip文件中删除所有的*.bak文件3. "e"...原创 2011-10-14 10:54:50 · 3403 阅读 · 0 评论 -
SQLite指南(5) - PRAGMA命令用法(完整)
如若转载,请加上本文链接,以示尊重个人劳动,谢谢。 PRAGMA语句是SQLITE数据的SQL扩展,是它独有的特性,主要用于修改SQLITE库或者内数据查询的操作。它采用与SELECT、INSERT等语句一样的形式来发出请求,但也有几个重要的不同:1. 特定的PRAGMA语句可能被移走,新的PRAGMA语句可能在新的版本中添加。因此,后向兼容无法保证。2. 未知的PRAGMA命令不...原创 2011-10-11 14:55:26 · 2023 阅读 · 1 评论 -
SQLite指南(3) - 5分钟了解熟悉SQLite
在没有大量阅读SQLite在线文档并且不了解相关配置之前,几分钟的时间可以让你快速了解SQLite.1. 下载源代码,你总能从http://www.sqlite.org/download.html 这里下载到最新的SQLite发行版本对应的源码。2. 创建数据库你可以从http://www.sqlite.org/download.html这里下载到sqlite3.exe,也可以...原创 2011-09-28 07:18:56 · 146 阅读 · 1 评论 -
SQLite指南(1) -- SQLite的特性
使用SQLite也有一段时日了,一直想整理出一份比较完整的SQLite指南,可惜时间总是不够。就从这里开始吧,能写多少就写多少。[b]总特性:[/b]1. SQLite支持事务,满足(ACID)特性:atomic, consistent, isolated, durable。即使在系统crash掉或者掉电的情况下,一样可以恢复。2. 0配置,不需要安装或者初始化管理即可使用。(不就...原创 2011-09-27 13:34:21 · 177 阅读 · 1 评论 -
Sybase ASA中获取表定义的SQL语句及SP
ASA功能本来非常强大, 可是不理解为什么没有一个功能强大的描述一个表定义的简单的SQL语句。像Oracle中:desc MySQL中:show create table 都非常简单明了。ASE里头,至少有个命令行:DDLGEN, 在$SYBASE/ASEP/bin 目录里头可以用。可是到了ASA当中,用起来相当不顺利,至少很难一下子记住。它要使用到 sa_ge...原创 2011-09-26 17:07:45 · 237 阅读 · 0 评论 -
Sybase DBISQL的小奥秘
目前,在所有Sybase数据库产品里,都使用dbisql来访问。如果同时安装了两种以上sybase数据库,则容易产生混乱。这些数据库有:SQL Anywhere (ASA), Sybase Enterprise Server( ASE), Sybase IQ.这里告诉大家一个内部用法:运行命令:dbisql /batch,它会为你产生真正的一个bat文件,来起动dbisql....原创 2011-09-22 22:26:37 · 548 阅读 · 1 评论 -
SQLite指南(0) 表和索引的文件存储结构
SQLite采用的是B+树来存储表中的索引和数据。B树的键及其值既存储在内部节点上,也存储在叶节点上,所有的叶节点具有相同的深度。B+树作了些微改变,键和数据会存储到叶节点上,并且按照键值排好序。而内部节点只存储键值。相当于有两条查找路径。SQLite从根叶开始创建B+树,一般从页1开始。它以独立的页来存储树节点,每页一个节点,这些页要分内部页还是叶子页。对于每个节点,任何项(数据...原创 2011-09-20 21:56:07 · 323 阅读 · 1 评论 -
简易通用数据库API c++ wrapper: hisqlapi-1.0.0.9 发布
项目地址:http://code.google.com/p/hisqlapi/下载地址:http://code.google.com/p/hisqlapi/downloads/listhisqlapi_1.0.0.9 数据库通用API: hisqlapi C++ wrapper, 这是自行开发的标准版,免费使用。同时接受捐赠以增进后续开发,支付宝帐户:iiihero AT hotm...原创 2010-07-05 06:47:00 · 134 阅读 · 1 评论