Mysql框架＜二＞ 行式存储与列式存储

数据处理场景分类

OLTP 联机事务处理

OLTP ： on-line transaction processing
为传统的数据库的主要应用场景。偏向事务处理方向的

适合：
增删改查，事务处理

不适合：
海量数据处理

OLAP 联机分析处理

OLAP: on-line analytical processing
为分布式数据库主要应用场景，通常应用于数据报表。

适合：
海量数据；
不适合：
实时性要求高，

行式存储和列式存储

概念

行式存储：数据一行一行存储。
传统关系型数据库：Oracle,DB2,MySQL,SQL SERVER等
一行的数据在存储介质中连续内存；

列式存储：数据一列一列存储。
分布式数据库：Hbase,HP Vertica, EMC Greenplum等
一列的数据在存储介质中连续内存；

其他：
文档式JSON存储：ElasticSearch,MongoDB,Solr,Splunk等。
缓存中间件：Redis，noSQL等

特点

行式存储
适合：
1、随机增删改查；
2、整行查询。
3、频繁插入更新
不适合：
海量数据搜索

列式存储：
优点：
1、低延迟：查询过程中，可针对各列的运算并发执行，最后在内存中聚合完整记录集，最大可能降低查询响应时间;
2、查找数据高效：无需维护索引，查询过程中能够尽量减少无关IO，避免全表扫描
3、节省空间：因为各列独立存储，且数据类型已知，可以针对该列的数据类型、数据量大小等因素动态选择压缩算法，以提高物理存储利用率；如果某一行的某一列没有数据，那在列存储时，就可以不存储该列的值，这将比行式存储更节省空间。

不适合：
数据需要频繁更新的交易场景，表中列属性较少的小量数据库场景，不适合做含有删除和更新的实时操作。

对比

1 读取数据分析
假设：从2^30行中取出100001 ~ 200000行的name, status列

行存储成本分析：
场景：读取10W行数据的2列
先取行，再取列：从连续的空间取出10w行，从10w行结果集合中取出name和status列
1行平均10KB：10W行=10W * 10kb ≈ 1G数据
Buffer如何是4M，将进行256次读取
10W过滤操作

列存储成本分析：
场景：读取10W行数据的2列
先取列，再取行：从2列中取出10w条
1列的一个条目平均20Byte，10W行的两列=20 byte * 10W ≈ 2M
Buffer如何是4M，将进行1次读取
不需要更多的过滤操作

2 更新一行多个值分析
行存储：一行数据
列存储：多列数据（次数多）

3 添加一行数据分析
行存储：一行数据
列存储：多列数据（次数多）

4 事务操作分析
行存储：锁一行数据
列存储：锁对应的列（范围大）