数据库和存储技术
文章平均质量分 72
jiezhu2007
这个作者很懒,什么都没留下…
展开
-
硬盘存储衡量指标
1 存储衡量指标:容量:决定因子是硬盘个数,单盘容量IOPS:决定因子磁盘个数,cache命中率,阵列算法I/O响应时间:R=T/(1-U) R是响应时间 T是I/O控制器服务一个块所用时间,U是硬盘利用率。吞吐量:决定因子是阵列架构,光纤通道大小,硬盘个数 2 IOPS计算方法IOPS:IO系统每秒所执行IO操作的次数。 2.1 IOPS计算方...原创 2013-11-06 21:04:46 · 493 阅读 · 0 评论 -
IQ数据库简单分析总结
Sybase IQ是一款专门针对OLAP应用的数据仓库,不适合OLTP。1. IQ数据库特点:列式存储 和默认的FP压缩。列式存储读取多个列中读取部分列时,可以明显减少IO,加快读取速度。同时由于列式的原因,只适合批量写和查询,不适合数据更改。所以只适合OLAP应用,不适合OLTP应用。默认的FP压缩,一般压缩比为4~5倍。2、CPU bound类型数据库。正是由于IQ...原创 2013-06-25 19:41:43 · 1046 阅读 · 0 评论 -
MonetDB学习笔记
1 架构:三层软件架构:SQL front-end:前端SQL解析,数据模型优化,降低数据中间结果的总量,最后将SQL语句解析为MAL(MonetDB Assembly Language)。Tactical-optimizers:一系列优化模块的集合,组成优化管道,这个模块提供功能从符号处理到实时数据分发和执行。Columnar abstract-machine kerne...原创 2013-06-27 19:04:05 · 1143 阅读 · 0 评论 -
Greenplum与DB2 DPF对比
1、总体架构说明:(1)Greenplum: MPP架构(Massively Parallel Processing):大规模并行处理系统。整个系统是一组独立的数据库阵列。每个数据库相互独立,有独立的数据存储,日志,索引等等。集群中HOST分为两种,一个是MASTER HOST,一个是SEGMENT HOST。MASTER HOST不存放数据,只存放全局系统目...2013-06-30 22:54:04 · 696 阅读 · 0 评论 -
内存引擎:SanssouciDB
SanssouciDB 1、内存计算,每台节点都选择高端机器,典型的配置有2TB内存,64个CPU主要原因是同等处理能力下,减少集群规模,这样可以减少网络的消耗。 2、SanssouciDB是一个 shared-nothing 和shared-memroy的混合结构,每个实例和每个节点负责固定分区的数据。所以从整个集群来看,整个集群式shared-nothing的结构,...2013-07-28 19:30:42 · 202 阅读 · 0 评论 -
为什么写《大数据架构详解》这本书
花了差不多一年半时间,牺牲了每个周末,费了九牛二虎之力,终于完成个人人生的第一本书《大数据架构详解:从数据获取到深度学习》。整个过程其实挺痛苦的,时常想放弃,幸好坚持下来了。 回想这我500天,我常问自己两个问题: 1)我问自己为什么选择去写一本大数据技术的书,是什么让自己坚持?我感觉可能更多的原因是实践大数据架构和技术这么多年,对技术的理解到一定的程度,...2016-10-22 12:36:07 · 305 阅读 · 0 评论 -
博客导读
2016-11-06 朱洁 大数据和云计算技术闲来无事,简单整理下博客,方便大家阅读。具体的不解释,自己看。 一、胡扯乱聊 一万小时定律写给自己的2014年中回顾2015年完成的第一本英文原著书写给自己定2015第二次机器革命《大数据架构详解》答疑(一)为什么写《大数据架构详解》这本书书籍推荐:《大数据架构详解》,京东已...2016-11-12 10:21:50 · 162 阅读 · 0 评论 -
喜大普奔,《大数据架构详解》一书 登陆 当当,京东热卖榜
2016-11-27 朱洁 大数据和云计算技术最近加班太多,“江郎才尽了”,这周不想写博客了,休息下。 讲点高兴的事情,我的新书《大数据架构详解》登陆当当,京东热卖榜。 1、先看当当: 计算机类,新书热卖榜 第七名! 2、京东 大数据和云计算类 热卖榜 第14位(不止新书,统计所有的,刚上架一个月,这个还行。 最后,感谢各...2016-12-04 18:03:47 · 168 阅读 · 0 评论