Tair LDB基于Prefixkey的范围查找性能优化项目提议方案

最新推荐文章于 2022-11-11 16:41:29 发布
最新推荐文章于 2022-11-11 16:41:29 发布
阅读量3k 收藏 1
点赞数 1
分类专栏： 开源夏令营 文章标签： tair leveldb get_range接口 bloomfilter 范围查找
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lanxuezaipiao/article/details/38362673
版权
本文提出了一个针对Tair LDB的get_range接口优化方案，利用prefix bloomfilter减少无效磁盘IO。通过在客户端合并pkey和skey为mkey，并在value中保存prefix_size信息，然后在leveldb存储时生成prefix bloomfilter。在get_range接口中，通过prefix bloomfilter对数据块进行过滤，有效降低了磁盘IO操作，提高查找效率。
摘要由CSDN通过智能技术生成

基于prefix bloomfilter的过滤思想和get_range接口数据的特点，在导师的指导下，提出如下的简单方案，对get_range接口的范围查找过程进行优化，使得能够根据prefix进行过滤，减少无效的磁盘IO。

待优化接口

int get_range(int area,
最低0.47元/天 解锁文章
小敏纸
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tair LDB基于Prefixkey的范围查找性能优化项目中期总结
程序媛想事儿
08-04 3824
“Tair LDB基于Prefixkey的范围查找性能优化”这个项目刚好进行了一个月，这一个月主要是熟悉项目、掌握项目和提出设计方案的过程，下面从几个方面总结下个人在该项目上所做的工作及自己的个人所得所感。 项目工作简单总结1. 项目实施计划的确定不管什么类型的项目（大、小，难、易），在项目开展之前都应该有个可实施的计划，一方面能够确保项目的进度，另一方面也能防止有些人三天打鱼两天晒网的心态。在导
Tair LDB基于Prefixkey的范围查找性能优化项目测试及完成总结报告
程序媛想事儿
09-07 2789
项目这周就截止了，这算是我第一个有导师指导的真正意义上的C++项目，项目基本完成，想要实现的功能也已经实现，并做了大量的性能测试。不过这对于业界来说，可能完成的还不够成熟，还有许多待改进的地方，还不能马上投入使用，还需要进行严格的考验，毕竟tair的应用场景太重要了，不容一丝疏忽。但于我个人而言，帮助还是挺大的，不仅是多了一次有价值的项目经验，更是学到了一些项目之外的东西，比如计划的重要性，惰性的
Tair
ligeforrent的专栏
03-17 578
tair是淘宝提供的开源key-value服务，单机可承担万级QPS压力。 调用方法分为三类： 单个存取：put,get方法 批量存取：batchPut,batchGet方法 父子key存取：prefixMultiPut, prefixMultiGet方法。 就性能来看，父子key存取反而比批量存取性能要好些
Tair LDB基于Prefixkey的范围查找性能优化项目之后续问题解决记录
程序媛想事儿
09-05 2312
项目是按照“Tair LDB基于Prefixkey的范围查找性能优化项目提议方案”的步骤一步步完成的，目前方案中提出的三个重点问题已经全部解决，如下所示：如何获取key的prefix_size问题：Tair LDB基于Prefixkey的范围查找性能优化项目之如何提取key的prefix_size如何建立prefix bloomfilter：Tair LDB基于Prefixkey的范围查找性能优化
tair（四）--命令
death_kada的博客
09-29 2744
TAIR命令说明 一、tairclient说明：输出如下帮助信息 ./tairclient -c configserver:port -g groupname -c, --configserver default port: 5198 -g, --groupname group name -l
Tair ldb(LevelDB)原理与应用案例
07-15
Tair ldb(LevelDB)原理与应用案例 阿里技术嘉年华
Redis企业版Tair性能增强系列产品概述.pdf
10-15
阿里云Redis企业版Tair是一款高性能的NoSQL数据库系统，旨在为企业提供更加强大和灵活的数据存储解决方案。Tair最初是阿里巴巴自研的数据库系统，用于应对双11等大型活动的高流量挑战。随着云计算的发展，Tair逐渐...
数据库大赛-基于C++实现的Tair性能挑战复赛代码+文档说明
最新发布
03-16
数据库大赛—基于C++实现的Tair性能挑战复赛代码+文档说明 1 赛题介绍 1.1 赛题 Tair是阿里云自研的云原生内存数据库，接口兼容开源Redis/Memcache。在阿里巴巴集团内和阿里云上提供了缓存服务和高性能存储服务，...
第二届数据库大赛-Tair性能挑战复赛参赛源码+项目说明.zip
01-24
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为...第二届数据库大赛-Tair性能挑战复赛参赛源码+项目说明.zip
tair.zip, tair源码
03-29
《深入解析tair源码》 tair，全称为Tencent Advanced In-Memory Storage，是腾讯公司开发的一款高...通过深入学习tair的源码，我们可以更好地理解分布式系统的设计原则，以及如何在实际项目中优化性能和保证数据安全。
轻松入门淘宝开源NoSQL框架Tair视频教程
11-05
视频详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 1、课程简介 在Tair出现之前的很长一段时间里，像redis、memcache这些知名NoSql数据库是不支持分布式的，在这样的背景下，由淘宝网自主开发并在2010.6开源的一个高性能、高扩展、高可靠分布式缓存，类似map的key/value结构，在淘宝、天猫等各个应用中广泛应用。 2、适应人群 Ø 有一定开发经验，并对分布式感兴趣的同学 3、主讲内容 l Tair介绍，基本概念，特征，应用场景 l Tair的安装部署，环境准备，配置 l Tair入门案例 l Tair原理架构 l Tair核心方法 l Tair使用规范 4、课程目录 第1节 - 01-Tair大纲 第2节 - 02-Tair介绍 第3节 - 03-Tair与其他缓存对比 第4节 - 04-Tair安装部署-虚拟机环境准备 第5节 - 05-Tair安装部署-安装相关依赖库 第6节 - 06-Tair安装部署-下载源码并编译安装 第7节 - 07-Tair安装部署-配置并启动 第8节 - 08-Tair安装部署-使用自带客户端测试tair命令 第9节 - 09-Tair入门demo 第10节 - 10-Tair原理架构 第11节 - 11-Tair核心方法-1 第12节 - 12-Tair核心方法-2 第13节 - 13-Tair扩展-version支持 第14节 - 14-Tair使用规范
几种缓存比较
arthur.dy.lee的专栏
05-27 5677
几种缓存比较1、memcached协议简单、基于libevent的事件处理、内置内存存储方式、memcached不互相通信的分布式。 各个memcached不会互相通信以共享信息，分布策略由客户端实现。不会对数据进行持久化，重启memcached、重启操作系统会导致全部数据消失。Memcached常见的应用场景是存储一些读取频繁但更新较少的数据，如静态网页、系统配置及规则数据、活跃用户的基本数据和个
缓存Tair高性能使用规范
高广超的博客
01-28 538
2x.png 不要短时间大量重复读写相同的key server端的原理是网络收包后，放入到工作队列（读写队列分离，但都只有一个），再由工作线程从队列中取出进行处理。这里一个问题是，为保证数据的正确性，会对同一个key的读写加锁，而如果存在大量读写同一个key的情况，则势必会阻塞其他线程（锁不慢，锁竞争才慢），导致拖慢整个服务端的处理速度。 不要...
整理的AES对称加密和RSA非对称加密
sinat_23134455的专栏
04-26 4575
项目用到这两个加密方法，就整理了下做了个demo，这里也贴出来代码供参考 AES加密解密public class AESUtil { /** * 生成AES密钥 * @param strkey * @return * @throws Exception */ public static String createKeyPairs(
揭秘阿里中台！一文看懂阿里推荐业务的两大利器
勇往直前的专栏
08-04 1024
从工程的角度看，搜索和推荐既有差异点，又有共同点。阿里巴巴集团的搜索和推荐系统由同一个部门研发，因此很多工程能力是复用的，如搜索和推荐业务的算分服务引擎都是RS/RTP。 本文介绍阿里巴巴推荐的中台产品—BE召回引擎和RTP算分服务，这是阿里巴巴推荐业务的两项利器。 召回引擎BE BE（Basic Engine）是基于阿里巴巴集团另一个更底层的框架服务Suez构建的。在Suez框架服务的基础上，BE实现了与推荐业务相关的各种功能组件，如向量召回技术、多表join召回，以及以自定义插件形式提供..
Proverif软件验证 握手协议（存在 中间人攻击）
qq_39743001的博客
10-11 502
中间人攻击： I→B:pkI I→B:pkI I→B:pkI B→I:aenc(sign((pkB,k),skB),pkI) B→I:aenc(sign((pkB,k),skB),pkI) B→I:aenc(sign((pkB,k),skB),pkI) A→B:pkA A→B:pkA A→B:pkA I→A:aenc(sign((pkB,k),skB),pkA) I→A:aenc(sign((pkB,k),skB),pkA) I→A:aenc(sign((pkB,k),skB),pkA) A→I:senc(
Tair的使用
凉茶铺的博客
11-11 907
介绍了Tair的使用
Tair存储引擎简单介绍以及常见API操作
weixin_44795847的博客
03-29 782
Tair存储引擎简单介绍以及常见API操作
Tair LDB基于Prefixkey找到如何提取一系列性能优化项目key的prefix_size
weixin_33985507的博客
07-17 113
眼下项目已快截止，编码任务也基本完毕。如今主要是性能測试。项目是依照“Tair LDB基于Prefixkey的范围查找性能优化项目提议方案”的步骤一步步完毕的，首先先介绍第一个关键问题是怎样解决的。在提案中有以下描写叙述：因为getrange接口的数据是从prefixput/prefixincr接口进来的。那么prefix的长度信息就能够从它们的pkey參数得到。pkey的数据类型是datae...
藏经阁-双11万亿流量下的分布式缓存--Tiar技术揭秘.pdf
09-11
藏经阁-双11万亿流量下的分布式缓存--Tiar技术揭秘.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值