2015年10月_jlaij

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 leveldb实例

实例：#include #include "db.h"#include "iterator.h"#include using namespace std;int main(){ leveldb::DB* db; leveldb::Options options; options.create_if_missing = true; std

2015-10-21 10:33:39 1444

原创 leveldb抽取写文件代码

抽取代码：#include #include #include #include #include #include #include #include using namespace std;class WriteFile{public: char *base, *limit, *dst; size_t pagesize, mapsize; int fd; u

2015-10-20 10:06:23 503

原创 lzw字符串压缩算法实现

lzw算法思想举例：原输入数据为:A B A B A B A B B B A B A B A A C D A C D A D C A B A A A B A B .....采用LZW算法对其进行压缩，压缩过程用一个表来表述为:注意原数据中只包含4个character,A,B,C,D用两bit即可表述，根据lzw算法，首先扩展一位变为3为,Clear=2的2次方+1=4; End

2015-10-15 15:08:10 4900

原创 c++实现Bloom Filter

Bloom Filter（BF）是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法，用于快速查找某个元素是否属于集合，但不要求百分百的准确率。 Bloom filter通常用于爬虫的url去重，即判断某个url是否已经被爬过。为了说明Bloom Filter存在的重要意义，举一个实例：　　假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接

2015-10-15 09:43:29 2215 5

原创 leveldb源码中变长编码代码

leveldb中编码代码：#include #include #include #include typedef signed char int8_t;typedef signed short int16_t;typedef signed int int32_t;typedef signed long long

2015-10-14 15:37:11 1031

原创 c++单例三种实现

c++实现一：#include #include #include #include #include class Singleton{public: static Singleton* getInstance();private: static Singleton* Instance; Singleton(){} Singleton(const Singl

2015-10-14 10:56:33 521

原创 c++实现加锁解锁

c++编程实现：/* * Filename: Mutex.h * * Version: * Author: haha * Created at: Tue Oct 13 09:14:19 2015 * * Description: * */#include #incl

2015-10-13 10:34:05 5176

转载 LevelDB原理探究与代码分析

1. 概述Level DB（http://code.google.com/p/leveldb/）是google开源的Key/Value存储系统，它的committer阵容相当强大，基本上是bigtable的原班人马，包括像jeff dean这样的大牛，它的代码合设计非常具有借鉴意义，是一种典型的LSM Tree的KV引擎的实现，从它的数据结构来看，基本就是sstable的开源实现，而且

2015-10-09 10:47:04 643

原创同步IO: sync、fsync与fdatasync

1. write不够，需要fsync一般情况下，对硬盘（或者其他持久存储设备）文件的write操作，更新的只是内存中的页缓存（page cache），而脏页面不会立即更新到硬盘中，而是由操作系统统一调度，如由专门的flusher内核线程在满足一定条件时（如一定时间间隔、内存中的脏页达到一定比例）内将脏页面同步到硬盘上（放入设备的IO请求队列）。因为write调用不会等到硬盘IO完

2015-10-09 10:41:20 504