leveldb
linuxheik
这个作者很懒,什么都没留下…
展开
-
leveldb之Version相关数据结构
leveldb之Version相关数据结构2015-05-15 10:09 229人阅读 评论(0) 收藏 举报 分类:leveldb(13) 版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]在leveldb中,Version就代表了一个版本,它包括当前磁盘及内存中的所有文件信息。当执行转载 2016-10-09 11:29:56 · 496 阅读 · 0 评论 -
Log Structured Merge Trees译文以及LSM调研心得
Log Structured Merge Trees译文以及LSM调研心得原文原文直接看原文有些糊涂,所以翻译一下看,也为了和朋友分享一下。能力有限,所以翻译的会很蠢,求指点0.0看完译文以后可以按照顺序浏览以下几篇博文。感觉讲的很透彻。LSM树存储模型LevelDB关键实现图解数据分析与处理之二(Leveldb 实现原理)level转载 2017-05-16 15:40:04 · 1949 阅读 · 0 评论 -
LSM树存储模型
--《大规模分布式存储系统:原理解析与架构实战》读书笔记之前研究了Bitcask存储模型,今天来看看LSM存储模型,两者虽然同属于基于键值的日志型存储模型。但是Bitcask使用哈希表建立索引,而LSM使用跳跃表建立索引。这一差别导致了两个存储系统的构造出现明显的分化。为此,我还先去捣腾了一番跳跃表的实现.今天算是进入了正题。LSM的结构LSM的基本思想是将修改转载 2017-05-16 15:41:01 · 411 阅读 · 0 评论 -
LSM树(Log-Structured Merge Tree)存储引擎
LSM树(Log-Structured Merge Tree)存储引擎代表数据库:nessDB、leveldb、Hbase等核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,转载 2017-05-16 15:42:39 · 480 阅读 · 0 评论 -
日志结构的合并树 The Log-Structured Merge-Tree
近年来,随着互联网数据的日益增长,管理分布式数据需求的日益增加,Bigtable[1]等一系列NoSQL数据库开始涌现。Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据,其在提供Tablet服务时使用内存中的memtable和GFS[2]中的SSTable来相互配合着来存储数据更新,其中存储和更新的方法与日志结构的合并树[3](Log-Structured Merge转载 2017-05-16 16:27:23 · 534 阅读 · 0 评论 -
张宴:Tokyo Cabinet数据库及其扩展应用
张宴:Tokyo Cabinet数据库及其扩展应用标签: 数据库扩展snsimagemysqlinsert2011-03-02 21:39 1251人阅读 评论(0) 收藏 举报首 届DTCC 2010数据库技术大会,4月2日在北京歌华开元大酒店盛大开幕,近700中国数据库技术专业人士参加本次技术盛会。这次大会注重实战,邀请业界知名专家 现场为大家排除数据库管理转载 2017-05-17 10:08:15 · 635 阅读 · 0 评论 -
腾讯亿级排行榜系统实践及挑战
作者:唐聪一. 背景排行榜满足了人的攀比、炫耀心理,几乎每个产品都会涉及。SNG增值产品部的QQ会员、QQ动漫、企鹅电竞、游戏赛事等大量业务都对排行榜有强烈需求,特别是企鹅电竞等业务的发展壮大对我们排行榜系统提出了更多要求和挑战。在过去的一年中,排行榜系统从无到有,接入的业务从单一的QQ会员到企鹅电竞动漫等20几个各类业务,接入的排行榜数实现了从几个到数万的突破,单个排行榜用户数最转载 2017-05-17 10:26:23 · 814 阅读 · 0 评论 -
okyo Cabinet简介
http://blog.163.com/zbr_4690/blog/static/126613593200910312346337/Tokyo Cabinet简介 Tokyo Cabinet 是日本人 Mikio Hirabayashi开发的一款 DBM 数据库,该数据库读写非常快,哈希模式写入100万条数据只需0.643秒,读取100万条数据只需0.773秒,是 Berk转载 2017-05-17 09:45:49 · 410 阅读 · 0 评论 -
Windows下 VS2015编译RocksDB
Windows下 VS2015编译RocksDBVS2015编译RocksDBRocksDB 是一个来自 facebook 的可嵌入式的支持持久化的 key-value 存储系统,也可作为 C/S 模式下的存储数据库,但主要目的还是嵌入式。RocksDB 基于 LevelDB 构建。1、下载rocksdb源码git clone https://github.com/转载 2017-05-17 11:20:41 · 1363 阅读 · 0 评论 -
编译level db rocksdb
http://www.cnblogs.com/oloroso/p/6306352.htmlhttp://www.cnblogs.com/oloroso/p/6323400.html转载 2017-05-17 11:25:18 · 1151 阅读 · 0 评论 -
CODIS原理 之 数据迁移流程[2.X]
CODIS原理 之 数据迁移流程[2.X]分类:源码剖析设计思路 (1173) (0)作者:邹祁峰 邮箱:Qifeng.zou.job@hotmail.com 博客:http://blog.csdn.net/qifengzou日期:2016.08.03 10:42:40 转载请注明来自”祁峰”的CSDN博客CODIS有一个非常重要的特点就转载 2017-06-12 16:50:32 · 1598 阅读 · 0 评论 -
Oceanbase列传
Oceanbase列传分布式与存储技术跳至内容首页关于郁白文章列表文章预告正在追越狱第五季两阶段提交的工程实践两阶段提交(2 Phase Commit简称2PC)协议是用于在多个节点之间达成一致的通信协议,它是实现“有状态的”分布式系统所必须面对的经典问题之一。本文通过对比经典2PC协议,和Google工程实践的基础上,分析一种优化延迟的2PC协议。为了方便说明转载 2017-07-24 11:37:21 · 330 阅读 · 0 评论 -
Log Structured Merge Trees(LSM) 原理
Log Structured Merge Trees(LSM) 原理十年前,谷歌发表了 “BigTable” 的论文,论文中很多很酷的方面之一就是它所使用的文件组织方式,这个方法更一般的名字叫 Log Structured-Merge Tree。LSM是当前被用在许多产品的文件结构策略:HBase, Cassandra, LevelDB, SQLite,甚至在mangodb3.0中转载 2017-05-16 15:39:14 · 367 阅读 · 0 评论 -
开源大数据处理引擎汇总(一)kosmosfs
开源大数据处理引擎汇总(一)标签: 大数据2016-06-26 17:17 2207人阅读 评论(0) 收藏 举报 分类:BigData(1) 目录(?)[+]查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache Hbase上执行SQL原创 2017-05-03 14:47:13 · 3310 阅读 · 0 评论 -
怎样打造一个分布式数据库——rocksDB, raft, mvcc,本质上是为了解决跨数据中心的复制
怎样打造一个分布式数据库——rocksDB, raft, mvcc,本质上是为了解决跨数据中心的复制摘自:http://www.infoq.com/cn/articles/how-to-build-a-distributed-database?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm转载 2017-01-18 15:41:48 · 1514 阅读 · 0 评论 -
LevelDB详解
LevelDB 一、LevelDB入门LevelDB是Google开源的持久化KV单机数据库,具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略,lsm_tree对索引变更进行延迟及批量处理,并通过一种类似于归并排序的方转载 2016-10-09 16:42:20 · 53427 阅读 · 1 评论 -
leveldb源码分析--SSTable之Compaction SetupOtherInputs
leveldb源码分析--SSTable之Compaction对于compaction是leveldb中体量最大的一部分,也应该是最为复杂的部分,为了便于理解我们首先从一些基本的概念开始。下面是一些从doc/impl.html中翻译和整理的内容:Level 0当日志文件超过一定大小的阈值是 (默认为 1MB):建立一个新的memtable和日志文件,以后的操作都是用新的转载 2016-10-10 09:38:05 · 1053 阅读 · 0 评论 -
leveldb源码分析--SSTable之Compaction 详解
http://www.cnblogs.com/KevinT/p/3819134.htmlleveldb源码分析--SSTable之Compaction对于compaction是leveldb中体量最大的一部分,也应该是最为复杂的部分,为了便于理解我们首先从一些基本的概念开始。下面是一些从doc/impl.html中翻译和整理的内容:Level 0当日志文件超过一定大转载 2016-10-10 18:12:51 · 666 阅读 · 0 评论 -
leveldb wal write ahead og
ReadRecord 读wal logAddRecord 添加 wal log原创 2016-10-11 18:58:29 · 902 阅读 · 0 评论 -
Rocksdb源码剖析一----Rocksdb概述与基本组件
Rocksdb源码剖析一----Rocksdb概述与基本组件标签: Rocksdb 源码 剖析 c c++2015-11-29 16:38 1279人阅读 评论(0) 收藏 举报 分类:Rocksdb源码剖析版权声明:本文为博主原创文章,未经博主允许不得转载。 如需转载,请注明链接及作者,谢谢合作~~转载 2016-09-29 15:18:33 · 3168 阅读 · 0 评论 -
写wal log日志
WriteBatchInternal::SetSequence(merged_batch, current_sequence); Slice log_entry = WriteBatchInternal::Contents(merged_batch); status = logs_.back().writer->AddRecord(log_entry);转载 2016-09-29 19:02:41 · 924 阅读 · 0 评论 -
leveldb之Put、Get操作
leveldb之Put、Get操作一个简单的leveldb使用示例如下:#include #include #include "leveldb/db.h"#include "leveldb/env.h"using namespace std;#include #include #include "leveldb/db.h"#include "level转载 2016-09-30 10:51:47 · 959 阅读 · 0 评论 -
leveldb snapshot详解
leveldb snapshot详解 了解leveldb 的snapshot首先得了解SequenceNumber。当插入数据时,SequenceNumber会依次增长,例如插入key1, key2, key3, key4等数据时,依次对应的SequenceNumber为1, 2, 3, 4。当然,并不是每次都会如此简单,当存在合并写时,例如key1, key2, key3, k转载 2016-10-08 09:57:24 · 1896 阅读 · 0 评论 -
LevelDb之七:根据Key读取记录
LevelDb之七:根据Key读取记录 2012-09-08 17:54:41分类: 云计算 LevelDb是针对大规模Key/Value数据的单机存储库,从应用的角度来看,LevelDb就是一个存储工具。而作为称职的存储工具,常见的调用接口无非是新增KV,删除KV,读取KV,更新Key对应的Value值这么几种操作。LevelDb的接口没有直接转载 2016-10-08 09:58:12 · 1274 阅读 · 0 评论 -
leveldb之Compaction操作下之具体实现
leveldb之Compaction操作下之具体实现2015-05-17 19:40 438人阅读 评论(0) 收藏 举报 分类:leveldb(13) 版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]由上文可知,合并主要分为三种:1)对Memtable进行合并2)trivial C转载 2016-10-08 11:58:30 · 538 阅读 · 0 评论 -
RocksDB
转载:http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=210272034&idx=1&sn=3be9d2b53c7fec88716ee8affd2515f8&scene=5&srcid=FtID3LDZmQvJW8mQ86jr#rd多机房多活对于我们这种核心系统,我们需要考虑多机房多活的问题。目前是应用无状态,通过在配置文件中配转载 2017-01-18 15:38:33 · 16809 阅读 · 0 评论 -
大数据时代的Tcaplus游戏存储
大数据时代的Tcaplus游戏存储shiweizhang2015-10-271.7k浏览游戏开发数据分析场景想免费获取内部独家PPT资料库?观看行业大牛直播?点击加入腾讯游戏学院游戏开发行业精英群711501594摘要大数据具备数据量大,数据结构多样,处理分析耗时,可挖掘价值潜力大的特点。除了具备这些特点,大数据时代的游戏数据还具备如下特性:交互性强,社交互动...转载 2019-03-18 17:20:36 · 1291 阅读 · 0 评论