大数据
文章平均质量分 85
黑色核桃
这个作者很懒,什么都没留下…
展开
-
LSM存储引擎
LSM(log structured merge Trees)是一种存储引擎,存储引擎有两个最基本的操作就是读和写。LSM之所以出现的根本原因就在于磁盘的顺序读写性能远远高于随机读写。问题对于存储引擎来说,如果只是写而不考虑读的话就完全不需要有那么多花里胡哨的设计,只需要保证写基本是顺序写就可以。最简单的实现就是在内存中加个缓冲区,当缓冲区中的数据满时,刷新到磁盘上。但是要保证数据的快速读取,就必须要知道每一条数据具体存储在文件的什么位置,或者大概位置。在没有索引的情况下,只能对整个文件进行遍历和匹配,原创 2021-05-31 11:48:33 · 963 阅读 · 0 评论 -
大数据笔记
行式存储与列式存储传统的关系型数据库例如mysql,是使用行式数据存储,所有的记录是以行为单位,一个数据块旁边是同一条记录的另一个字段的数据块。idnameage1tiang182ling194tian21这样的优点在于:每次读取可以很方便的读取整行数据,适用于查询条件或查询结果涉及到所有字段的访问。以行为单位,可以很方便保证行级数据的一致性,比较容易实现事务处理但是行式数据库也有缺点,当一个数据库表中字段数量太多,例如有一百列,每次查询只访原创 2021-05-18 20:58:06 · 208 阅读 · 1 评论