数据库
文章平均质量分 88
廖先贵
致力于金融风控、机器学习、存储。欢迎交流:liaoxiangui@126.com
展开
-
Oracle ORA-1628错误的定位分析(2012/1/8)
在Oracle 10.2.0.1.0中,只要设置了undo表空间自动管理,不管有没开启自动扩展,不管undo_retention设置为多少,都会启用 Automatic Tuning of undoretention的新特性。这个新特性中计算RETENTION算法有问题,会导致unexpired undo数据奇高,并最终导致出现ORA-1628: max # extents 32765reache...原创 2018-06-06 15:16:24 · 3466 阅读 · 0 评论 -
oracle 10g insert 性能测试 (2012/6/13)
1 Test environmentHardware: IBM X3650 with 12GB memoryOracle version: 10g OS: Red Hat Enterprise 5.4 2 Test MethodThe definition of table named parti...原创 2018-09-03 11:00:21 · 371 阅读 · 0 评论 -
Accrual Failure Detector
本文是对论文《The Phi Accrual Failure Detector》的理解以及在cassandra中的实现。背景众所周知,故障探测(failure detector)是分布式系统的基础模块。有人建议把故障探测做成一个基本的服务,类似于DNS、NTP(始终同步),其在分布式系统的重要性可见一斑。妨碍故障探测称为一个服务的主要障碍在于:分布式应用需要调整故障检测以适用于不同的Q原创 2011-10-09 09:35:04 · 4035 阅读 · 0 评论 -
gossip协议
1.背景Gossip算法又被称为反熵(Anti-Entropy),熵是物理学上的一个概念,代表杂乱无章,而反熵就是在杂乱无章中寻求一致,这充分说明了Gossip的特点:在一个有界网络中,每个节点都随机地与其他节点通信,经过一番杂乱无章的通信,最终所有节点的状态都会达成一致。每个节点可能知道所有其他节点,也可能仅知道几个邻居节点,只要这些节可以通过网络连通,最终他们的状态都是一致的,当然这也是疫原创 2011-10-09 09:50:30 · 6524 阅读 · 0 评论 -
dynamo和cassandra区别
1 如何处理副本的一致性。cassandra:采用最后写入获胜。当有多个版本的数据存在时,以时间戳大的值为准。Dynamo:使用向量时钟(vector lock)。为数据保持一个时钟列表,其中的每个元素是(更新值的节点,序列号),见下图。 图 向量时钟处理多个版本的一致性2 负载均衡使用一致性hash来分布数据可能会导致数据分布不均匀。dynamo:使用虚拟节点技术,一原创 2011-10-26 15:20:54 · 2542 阅读 · 0 评论 -
Microsoft云存储架构
1 总体介绍Microsoft云存储服务分为两个部分,SQL Azure和Azure Storage。SQL Azure直接在原有的SQL Server上引入分布式的因素,在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的,单个SQL Azure实例不允许超过50GB,这是因为SQL Azure不支持子表动态分裂,单个SQL Azure实例必须足原创 2011-11-08 15:30:49 · 723 阅读 · 0 评论 -
HBase性能测试报告(2012/6/1)
1 测试环境1.1 硬件环境●五个HP Z210: 8G内存;4个型号为i7-2600的CPU,4核;千兆网卡;SATA 硬盘,7200转/分钟●CiscoCatalyst 3670交换机1.2 软件环境 OS:Red Hat 64bit;hadoop-1.0.3;HBase0.94.01.3 组网 2 写性能测试●黑色曲线4个客户端,分别部署在SM21、SM22、SM23和SM24。...原创 2018-06-06 16:35:12 · 2527 阅读 · 0 评论 -
Oracle-11g中的并发控制(2012/11/16)
1 事务基础在DB中,可能出现如下3种现象脏读 在事务中,读到了其它事务没有提交的记录 不可重复读 在事务中,即使查询条件相同,下次返回的记录与上次返回记录不一样,不一样体现在记录被修改或记录被删除 幻影读 在事务中,即使查询条件相同,下次返回的记录与上次返回记录不一样,不一样体现在新增加了记录。SQL92规定的事务隔离级别如下表。oracle支持3种事务隔离级别:read-only/rea...原创 2018-06-06 16:48:31 · 912 阅读 · 0 评论 -
bit-wise索引原理(2012/7/3)
1 IQ 简介SybaseIQ是一款数据仓储产品。个人认为其核心技术包括:列存储和bit-wise索引。首先了解行存储,把属于一行的所有列的数据存储在连续的空间即为行存储。行存储有两个缺点:由于DBMS中磁盘IO的单位是block (oracle中的block大小2K-32K), 如果查询只关心行中的部分列,需要同时读取其它的列,增加了IO;block上的数据类型不一致使得压缩率低。这两个缺点对数...原创 2018-06-06 16:21:25 · 1659 阅读 · 0 评论 -
磁盘阵列性能测试(2013/7/12)
1 组网操作系统:RedhatLinux 6.2 (64bit)文件系统:ext4IO分为直接IO和非直接IO。所谓直接IO是指读写文件不利用的文件系统高速缓存,直接从磁盘读取/存储数据。在调用open函数时,支持位O_DIRECT即直接IO。反之,读写文件要经过文件高速缓存的操作成为非直接IO,OS默认是这种操作方式。在进行测试的同时,利用iosat –xk命令查看IOPS...原创 2018-06-06 16:13:21 · 1049 阅读 · 0 评论 -
HBase数据文件格式解析 (2012/4/26)
概述hfile是hbase中存储数据的文件,图1描述了hfile文件格式。hfile文件由6部分组成:data block,meta block(可选),file info,data block index,meta block index,trailer。data block存储了表数据,meta block存储了布隆过滤器索引数据,file info存储了本文件的相关信息,index存储了...原创 2018-09-03 11:46:25 · 1837 阅读 · 0 评论