Mongo on TerarkDB 性能评测

Mongo on TerarkDB 性能评测之前,我们发表过一篇 集成 TerichDB 的 MongoDB 性能测试,TerichDB 是 Terark 公司的第一个数据库产品,整个 DB 全部自主研发,因为使用 Terark 自己的引擎,所以功能非常丰富,性能也非常出色,但是与主流数据库不兼容。现在,我们最新的 TerarkDB 完全兼容 RocksDB,我们通过实现 RocksDB 的 SST...
阅读(533) 评论(0)

理想的 huge page

现代计算机的内存越来越大,服务器动辄就有上百GB,甚至 TB 级别的内存,很多应用已经可以把全部数据都放入内存,这样,磁盘空间换取内存空间这个传统中虚拟内存最重要的需求已经相当弱化甚至不复存在。当然我们仍然需要虚拟内存的其它好处(进程隔离、内存保护等),但是,虚拟内存最大的缺点:地址转换开销,在很多应用中越来越突出。 于是,大家想起了 huge page ,huge page 大幅减小了...
阅读(426) 评论(0)

限制 TerichDB 的写速度

TerarkDB 在保持超高压缩率的同时还有非常高的读性能,为此付出的代价是“压缩速度”,如果在短时间内写入大量数据,会导致 TerarkDB 产生过多的 Frozen WritableSegment,进而影响读性能。 新版 TerarkDB 增加了对写速度的限制(下称限流),从而解决该问题。默认情况下,没有限流,需要通过 dbmeta.json 设置限流: { .... "...
阅读(671) 评论(0)

集成 TerichDB 的 MongoDB 性能测试

1.前言我们将TerichDB集成到了MongoDB社区版中,后续我们将逐步发布性能测试报告,目前,我们分别进行了读、写性能测试。...
阅读(1022) 评论(0)

集成TerichDB的SSDB性能测试

目前很多互联网公司都在使用[SSDB](http://ssdb.io), 它是一款NoSQL的,高性能数据库,目标是替代Redis。 我们在 TerichDB 原生 API 的基础上,实现了 LevelDB API,所有使用 LevelDB 的程序,不需要修改任何代码,只需要修改 Makefile,就可以使用 TerichDB,ssdb 就是这样的一个程序。为了方便大家编译、使用基于 TerichDB 的 ssdb...
阅读(1264) 评论(0)

TerichDB架构简介

TerichDB是一款高性能和高压缩率的存储引擎,既可以单独作为数据库使用,也可以作为已有数据库的存储引擎使用(如MySQL/MongoDB) TerichDB的定位类似于WiredTiger、RocksDB或LevelDB 1. 为什么使用 TerichDB 高性能的同时具有高压缩率 高性能并非来自于时间空间的互换 时间和空间同时获得的缩减 延迟非常低并且很稳定 基于Schema定义,...
阅读(1443) 评论(0)

TerarkDB 数据库的性能报告与技术解析

TerarkDB是一款功能丰富的数据库,具有优异的读性能和良好的写性能 — 因为使用的是自主研发的索引压缩和数据压缩技术(索引不是传统的B+树或者LSM,数据也不是块压缩)。 TerarkDB v0.13 近期刚刚发布,目前这个版本已经具有了比较完善的功能,为了更好地让大家了解我们的产品,我们内部进行了一些比较全面的性能评测。 本文包含三种场景: 数据小于内存, 数据略大于内存以及数据远大于内存, 后续我们会发布...
阅读(8051) 评论(2)

Solr or Elasticsearch–That Is the Question

blog source link: http://www.datanami.com/2015/01/22/solr-elasticsearch-question/ January 22, 2015 Solr or Elasticsearch–That Is the Question Otis Gospodnetić That is the common...
阅读(1295) 评论(0)

nark 数据库简介

不同于普通 Hash 或 Tree 结构的数据库,nark 数据库是基于自动机的,这决定了 nark 的强大与简洁,但是,最重要的是,nark 为大家提供了一整套解决方案。 因为自动机只有离线(offline)创建成只读数据库,才能为在线(online)计算 提供 最节省内存 并且 高速查找 的 功能。从而,绝大部分 nark 组件都分为离线(offline)建库 和 在线(online)搜...
阅读(1673) 评论(0)

正则语言的 并 交 差

正则语言的 并 交 差 作者: rockeet 发表日期: 2014年09月08日 分类: 自动机 评论: 0 条 阅读次数: 7 次 [编辑] 正则表达式,描述的是正则语言, 学过形式语言与自动机理论的人应该都知道,正则语言在并、交、差、补运算下都是封闭的;但是,根据 Wikipedia 的描述,到目前为止,还没有任何一个已知的正则语法(Flavor)将交和差纳入正则语法。理...
阅读(1527) 评论(0)

实现了普通的正则引擎无法实现的两大功能

1. 多正则匹配,要判断输入文本匹配了多个正则中的哪个,不需要逐个判断, 扫描一遍就得到结果(google re2.set 是一个半成品的多正则匹配)。 2. 正则表达式并交差,这个功能今天刚完成,可以借此实现环视功能的一个超集, 很多不严肃的论断认为环视无法用 DFA 实现,在此给大家纠正一下。 性能上,10万个正则,待匹配文本平均长度30字节,判断出匹配了哪个(或哪些),平均耗时5...
阅读(1597) 评论(0)

最近做了一个自动纠错演示网页

最近做了一个自动纠错 当 Query 中有一些错别字时,搜索引擎会尝试纠错 通过相似拼音纠错 搜索引擎把这些字还原成拼音,用一个拼音相同的已知 Query 代替。 但是,当输错的汉字是多音字,特别是有多个这样的错误输入时,所有的搜索引擎基本上都不管, 或者仅使用一个最常用的音去纠错。因为要考虑所有可能的拼音组合,在极端情况下会导致指数爆炸! 我的算法解决了这个指数爆炸...
阅读(2322) 评论(5)

本博客已经迁移到 http://nark.cc

本博客已经迁移到 http://nfabo.cn , csdn 博客不再同步更新...
阅读(1635) 评论(0)

cygwin 中 dll 路径

cygwin 中 dll 路径不是用 LD_LIBRARY_PATH 指定,而是 PATH,坑爹!...
阅读(1526) 评论(0)

地下军工厂大造“山寨”武器

很多所谓互联网高科技,与这山寨军工厂有何异? 本报特约记者 章鲁生 《 青年参考 》( 2011年05月20日   21 版)     一家地下军工厂     一名反对派人员身背改造后的AK-47冲锋枪,在米苏拉塔市街头巡逻。     利比亚反对派和政府军的武装冲突已持续了两个多月,据美国《纽约时报》报道,反对派武装的武器装备可谓五花八门,拆卸下来的...
阅读(1639) 评论(1)

rdtsc 备忘

from: http://stackoverflow.com/questions/6814792/why-is-clock-gettime-so-erratic static uint64_t rdtsc() { #if defined(__GNUC__) # if defined(__i386__) uint64_t x; __asm__ volatile ("...
阅读(1548) 评论(0)

多正则表达式匹配 (Multiple Regular Expression Matching) 中的动态 DFA 算法

前一段时间,在用 多正则表达式匹配工具 用于数十万任意的正则表达式时,以前一直担心的问题终于出现了:NFA 转化 DFA 时的指数爆炸,那样的 DFA 根本创建不出来,因为那些正则表达式之间有不可预料的各种交集! 这个问题对我打击很大,我甚至顿时觉得 多正则表达式匹配工具 完全是个废柴,最多,是个玩具!但是,只有挑战,才能激励人的斗志,挖掘人的潜能。我想起了曾经对之不屑一顾的动态 DFA 匹配算...
阅读(3575) 评论(4)

多正则表达式匹配工具 的用法

2014年3月25日22:55从 http://code.google.com/p/febird/wiki/MultiRegexMatch 更新至最新版 Introduction介绍Compileregex_builder 使用方法 命令行选项与参数关于 -d 选项输入文件Regex.txt 的格式 一个示例的Regex.txt 非常重要!注意事项! 匹配接口: 二进制模式...
阅读(6817) 评论(27)

有多个初始状态的 DFA

最近做了一项工作:允许一个 DFA 有多个起始状态(可以称作根: root)。这样有以下几个好处: 对于多正则表达式匹配(Multiple Regular Expression Matching)的 DFA 在创建多正则表达式匹配的 DFA 的过程中,有一个 DFA 的 Union 操作,这操作通过 NFA 到 DFA 的转化来完成,在这个过程中,如果状态膨胀失去控制(最坏情况是指数级,一般情...
阅读(2957) 评论(0)

gcc 4.7.3 的一个 c++11 bug

昨天一个朋友 checkout 了我的 febird 代码,编译时出现了一个诡异的错误。经过仔细勘察,他的 g++ 版本是 4.7.3,而我测试过的 g++4.7.2,g++4.8.2均无问题。 后来修改代码,解决了那个问题,但要还原那个bug时,很费了一番力气。以下是还原的那个 bug 的一段简单代码,不过可能不是最简单的。 #include struct A { int...
阅读(2098) 评论(1)
194条 共10页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:458269次
    • 积分:6500
    • 等级:
    • 排名:第3672名
    • 原创:187篇
    • 转载:7篇
    • 译文:0篇
    • 评论:248条
    文章分类
    最新评论