【brpc学习实践十三】基于brpc的redis client的实现

最新推荐文章于 2024-07-23 15:38:14 发布
最新推荐文章于 2024-07-23 15:38:14 发布
阅读量312 收藏 1
点赞数
分类专栏： brpc 文章标签： redis brpc 后端 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42936727/article/details/134738666
版权

brpc支持了redis协议，提供了相关redis访问接口，充分利用了bthread，可以坐到比hiredis更高效。

brpc redis与hiredis的对比

相比使用hiredis(官方client)的优势有：

  • 线程安全。用户不需要为每个线程建立独立的client。
  • 支持同步、异步、批量同步、批量异步等访问方式，能使用ParallelChannel等组合访问方式。
  • 支持多种连接方式。支持超时、backup request、取消、tracing、内置服务等一系列RPC基本福利。
  • 一个进程中的所有brpc client和一个redis-server只有一个连接。多个线程同时访问一个redis-server时更高效（见性能）。无论reply的组成多复杂，内存都会连续成块地分配，并支持短串优化(SSO)进一步提高性能。

像http一样，brpc保证在最差情况下解析redis reply的时间复杂度也是O(N)，N是reply的字节数，而不是O( N 2 N^2 N2)。当reply是个较大的数组时，这是比较重要的。

加上-redis_verbose后会打印出所有的redis request和response供调试。

访问单台redis

创建一个访问redis的Channel：

#include <brpc/redis.h>
#include <brpc/channel.h>
  
brpc::ChannelOptions options;
options.protocol = brpc::PROTOCOL_REDIS;
brpc::Channel redis_channel;
if (redis_channel.Init("0.0.0.0:6379", &options) != 0) {  // 6379是redis-server的默认端口
   LOG(ERROR) << "Fail to init channel to redis-server";
   return -1;
}
...

执行SET后再INCR：

std::string my_key = "my_key_1";
int my_number = 1;
...
// 执行"SET <my_key> <my_number>"
brpc::RedisRequest set_request;
brpc::RedisResponse response;
brpc::Controller cntl;
set_request.AddCommand("SET %s %d", my_key.c_str(), my_number);
redis_channel.CallMethod(NULL, &cntl, &set_request, &response, NULL/*done*/);
if (cntl.Failed()) {
    LOG(ERROR) << "Fail to access redis-server";
    return -1;
}
// 可以通过response.reply(i)访问某个reply
if (response.reply(0).is_error()) {
    LOG(ERROR) << "Fail to set";
    return -1;
}
// 可用多种方式打印reply
LOG(INFO) << response.reply(0).c_str()  // OK
          << response.reply(0)          // OK
          << response;                  // OK
...

执行INCR <my_key>

brpc::RedisRequest incr_request;
incr_request.AddCommand("INCR %s", my_key.c_str());
response.Clear();
cntl.Reset();
redis_channel.CallMethod(NULL, &cntl, &incr_request, &response, NULL/*done*/);
if (cntl.Failed()) {
   
    LOG(ERROR) << "Fail to access redis-server";
    return -1;
}
if (response.reply(0).is_error()) {
   
    LOG(ERROR) << "Fail to incr";
    return -1;
}
// 可用多种方式打印结果
LOG(INFO) << response.reply(0).integer()  // 2
          << response.reply(0)            // (integer) 2
          << response;                    // (integer) 2

批量执行incr或decr

brpc::RedisRequest request;
brpc::RedisResponse response;
brpc::Controller cntl;
request.AddCommand("INCR counter1");
request.AddCommand("DECR counter1");
request.AddCommand("INCRBY counter1 10");
request.AddCommand("DECRBY counter1 20");
redis_channel.CallMethod(NULL, &cntl, &request, &response, NULL/*done*/);
if (cntl.Failed()) {
    LOG(ERROR) << "Fail to access redis-server";
    return -1;
}
CHECK_EQ(4, response.reply_size());
for (int i = 0; i < 4; ++i) {
    CHECK(response.reply(i).is_integer());
    CHECK_EQ(brpc::REDIS_REPLY_INTEGER, response.reply(i).type());
}
CHECK_EQ(1, response.reply(0).integer());
CHECK_EQ(0, response.reply(1).integer());
CHECK_EQ(10, response.reply(2).integer());
CHECK_EQ(-10, response.reply(3).integer());

RedisRequest

一个RedisRequest可包含多个Command，调用AddCommand*增加命令，成功返回true，失败返回false并会打印调用处的栈。

bool AddCommand(const char* fmt, ...);
bool AddCommandV(const char* fmt, va_list args);
bool AddCommandByComponents(const butil::StringPiece* components, size_t n);

格式和hiredis基本兼容：即%b对应二进制数据（指针+length)，其他和printf的参数类似。对一些细节做了改进：当某个字段包含空格时，使用单引号或双引号包围起来会被视作一个字段。比如AddCommand(“Set ‘a key with space’ ‘a value with space as well’”)中的key是a key with space，value是a value with space as well。在hiredis中必须写成redisvCommand(…, “SET %s %s”, “a key with space”, “a value with space as well”);

AddCommandByComponents类似hiredis中的redisCommandArgv，用户通过数组指定命令中的每一个部分。这个方法对AddCommand和AddCommandV可能发生的转义问题免疫，且效率最高。如果你在使用AddCommand和AddCommandV时出现了“Unmatched quote”，“无效格式”等问题且无法定位，可以试下这个方法。

如果AddCommand*失败，后续的AddCommand*和CallMethod都会失败。一般来说不用判AddCommand*的结果，失败后自然会通过RPC失败体现出来。

command_size()可获得（成功）加入的命令个数。

调用Clear()后可重用RedisRequest

RedisResponse

RedisResponse可能包含一个或多个RedisReply，reply_size()可获得reply的个数，reply(i)可获得第i个reply的引用（从0计数）。注意在hiredis中，如果请求包含了N个command，获取结果也要调用N次redisGetReply。但在brpc中这是不必要的，RedisResponse已经包含了N个reply，通过reply(i)获取就行了。只要RPC成功，response.reply_size()应与request.command_size()相等，除非redis-server有bug，redis-server工作的基本前提就是reply和command按序一一对应。

每个reply可能是：

  • REDIS_REPLY_NIL：redis中的NULL，代表值不存在。可通过is_nil()判定。
  • REDIS_REPLY_STATUS：在redis文档中称为Simple String。一般是操作的返回状态，比如SET返回的OK。可通过is_string()判定（和string相同），c_str()或data()获得值。
  • REDIS_REPLY_STRING：在redis文档中称为Bulk String。大多数值都是这个类型，包括incr返回的。可通过is_string()判定，c_str()或data()获得值。
  • REDIS_REPLY_ERROR：操作出错时的返回值，包含一段错误信息。可通过is_error()判定，error_message()获得错误信息。
  • REDIS_REPLY_INTEGER：一个64位有符号数。可通过is_integer()判定，integer()获得值。
  • REDIS_REPLY_ARRAY：另一些reply的数组。可通过is_array()判定，size()获得数组大小，[i]获得对应的子reply引用。

如果response包含三个reply，分别是integer，string和一个长度为2的array。那么可以分别这么获得值：response.reply(0).integer()，response.reply(1).c_str(), repsonse.reply(2)[0]和repsonse.reply(2)[1]。如果类型对不上，调用处的栈会被打印出来，并返回一个undefined的值。

response中的所有reply的ownership属于response。当response析构时，reply也析构了。

调用Clear()后RedisResponse可以重用。

访问redis集群

建立一个使用一致性哈希负载均衡算法(c_md5或c_murmurhash)的channel就能访问挂载在对应命名服务下的redis集群了。注意每个RedisRequest应只包含一个操作或确保所有的操作是同一个key。如果request包含了多个操作，在当前实现下这些操作总会送向同一个server，假如对应的key分布在多个server上，那么结果就不对了，这个情况下你必须把一个request分开为多个，每个包含一个操作。

或者你可以沿用常见的twemproxy方案。这个方案虽然需要额外部署proxy，还增加了延时，但client端仍可以像访问单点一样的访问它。

查看发出的请求和收到的回复

打开-redis_verbose即看到所有的redis request和response，注意这应该只用于线下调试，而不是线上程序。

打开-redis_verbose_crlf2space可让打印内容中的CRLF (\r\n)变为空格，方便阅读。

Name Value Description Defined At
redis_verbose false [DEBUG] Print EVERY redis request/response src/brpc/policy/redis_protocol.cpp
redis_verbose_crlf2space false [DEBUG] Show \r\n as a space src/brpc/redis.cpp

另外，brpc还提供了一个类似与redis-cli的访问工具

Command Line Interface

example/redis_c++/redis_cli是一个类似于官方CLI的命令行工具，以展示brpc对redis协议的处理能力。当使用brpc访问redis-server出现不符合预期的行为时，也可以使用这个CLI进行交互式的调试。

和官方CLI类似，redis_cli <command>也可以直接运行命令，-server参数可以指定redis-server的地址。

$ ./redis_cli 
     __          _     __
    / /_  ____ _(_)___/ /_  __      _________  _____
   / __ \/ __ `/ / __  / / / /_____/ ___/ __ \/ ___/
  / /_/ / /_/ / / /_/ / /_/ /_____/ /  / /_/ / /__  
 /_.___/\__,_/_/\__,_/\__,_/     /_/  / .___/\___/  
                                     /_/            
This command-line tool mimics the look-n-feel of official redis-cli, as a 
demostration of brpc's capability of talking to redis server. The 
o
最低0.47元/天 解锁文章
小蜜蜂爱编程
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【项目学习】brpc
o小菜的博客
02-13 2049
小菜learning 这些内容全部摘自https://github.com/apache/incubator-brpc/ 1.bvar bvar是多线程环境下的计数器类库，方便记录和查看用户程序中的各类数值，它利用了thread local存储减少了cache bouncing，相比UbMonitor(百度内的老计数器库)几乎不会给程序增加性能开销，也快于竞争频繁的原子操作。brpc...
2021SC@SDUSC BRPC源码分析（十四）Redis
Lollo_HA的博客
12-13 873
2021SC@SDUSC BRPC源码分析（十四）Redis
Brpc学习:简单回显服务器/客户端
热门推荐
gongluck93的博客
11-28 1万+
百度内最常使用的工业级RPC框架, 有超过600,000个实例(不包含client)和500多种服务, 在百度内叫做"baidu-rpc". 目前只开源C++版本。 你可以使用它： 搭建一个能在同端口支持多协议的服务, 或访问各种服务 restful http/https, h2/h2c (与grpc兼容, 即将开源). 使用brpc的http实现比libcurl方便多了。 redis和memcached, 线程安全，比官方client更方便。 r
brpc访问MySQL_brpc一些笔记 -- 从http看协议实现
weixin_35710893的博客
02-23 480
[我的blog原地址：brpc一些笔记 -- 从http看协议实现，后续会持续努力同步更新到知乎～ ]这篇是一篇单纯的读文档+源码的笔记，从brpc中的http看协议如何使用、各协议的关系是什么。本来只是工作上扩展思考的一些调研，不需要单独写个blog的，但是代码比较多，就还是整理过来。本文不足点在于不涉及基本知识，但是好处是结合了我同为rpc框架开发者角度的一些架构思考。所以如果看到这个标题觉得...
brpc初步学习
罗布泊coding
08-28 8445
一.BRPC介绍 BRPC百度开源的一个rpc框架，它具有以下特性： 1. 基于protobuf接口的RPC框架，也提供json等其他数据格式的支持 2. 囊括baidu内部所有RPC协议，支持多种第三方协议 3. 模块化设计，层次清晰，很容易添加自定义协议 4. 全面的服务发现、负载均衡、组合访问支持 5. 可视化的内置服务和调试工具 6. 性能上领跑目前其他所有RPC产品 支持...
brpc之InputMessenger
多看多听多总结
01-14 886
InputMessenger类是服务端，客户端处理socket中响应的处理类。
初探brpc
Zuoerfeng
11-15 3623
今天开始对百度的这块开源项目进行学习，之前一直有听说，但是没有去尝试使用，下面就自己对brpc的学习心得进行一个总结。 1、brpc的简介 brpc又称为baidu-rpc，是百度开发一款“远过程调用”网络框架。目前该项目已在github上开源：https://github.com/brpc/brpc 从开源的github上看，确实是很有水准的一款rpc，不仅是文档内容及其丰富，其中也提到了，br...
【brpc学习实践四】异步请求案例详解
qq_42936727的博客
11-22 849
brpc应用案例及应用实践
php brpc,githubprojects
weixin_32340879的博客
03-13 90
What is RPC?Most machines on internet communicate with each other via TCP/IP. However, TCP/IP only guarantees reliable data transmissions. We need to abstract more to build services:What is the format...
java基于Redis实现排行榜功能源码
09-29
在"java基于Redis Zset实现排行榜功能"的项目中，我们通常会包括以下几个关键组件： 1. **数据模型**：定义一个UserRank类，包含用户ID（uid）和得分（score）。这将是与Redis交互的基本单位。 2. **Redis连接**：...
基于springboot和redis实现单点登录
08-25
基于SpringBoot和Redis实现单点登录 单点登录（Single Sign-On，SSO）是指用户只需要登录一次，即可访问所有相关的应用系统，而不需要再次登录的机制。基于SpringBoot和Redis实现单点登录是当前热门的技术栈之一，...
基于Redis实现分布式应用限流的方法
08-28
【基于Redis实现分布式应用限流的方法】 限流是保护系统免受高并发访问或恶意攻击的重要手段，通过限制系统的处理速度或在特定时间窗口内处理的请求数量，防止系统资源耗尽导致服务崩溃。Redis，作为一款高效且广泛...
基于redis实现的点赞功能设计思路详解
09-09
点赞是我们现在经常见到的一个效果，如朋友圈、微博都有点赞的效果，下面这篇文章主要跟大家分享了基于redis实现的点赞功能设计思路的相关资料，文中介绍的非常详细，对大家实现点赞功能具有一定的参考学习价值，...
深入学习Redis高可用架构：哨兵原理及实践
02-25
（注：文章内容基于Redis3.0版本）在介绍哨兵之前，首先从宏观角度回顾一下Redis实现高可用相关的技术。它们包括：持久化、复制、哨兵和集群，其主要作用和解决的问题是：持久化：持久化是最简单的高可用方法(有时...
Redis新数据类型
爱吃Java的羊的博客
07-18 246
命令Bitmaps与set对比
Redis 哨兵搭建
最新发布
qq_36838700的博客
07-23 705
操作系统Centos 7内核版本主机名称masterIP端口。
Redis 基数树
Casual_Lei的博客
07-20 562
Redis 使用基数树来优化其 HyperLogLog 和 Stream 数据类型的存储和查询操作。基数树通过压缩节点和高效的前缀匹配，提供了优异的存储效率和查找性能。然而，其实现复杂性和潜在的内存消耗需要在具体应用中权衡考虑。理解 Redis 基数树的原理和应用，有助于更好地利用 Redis 的高级数据结构和优化存储性能。
规范：Redis规范
为无为，事无事，味无味。
07-21 780
在公司项目中，redis属于高频使用，在使用中，我们遇到了各种各样的redis问题，于是针对自身情况梳理了一个redis使用规范。
基于redis实现分布式锁
07-29
基于 Redis 实现分布式锁可以利用 Redis 的原子性操作和超时特性来实现。下面是一个基本的实现思路： 1. 获取锁：使用 Redis 的 SETNX 命令，如果指定的锁 key 不存在，则设置该 key 的值为当前时间戳加上锁的超时时间，并返回成功；否则，返回失败。 2. 释放锁：使用 Redis 的 EVAL 命令，通过 Lua 脚本来实现原子性的删除锁。脚本的内容是先判断锁是否存在且超时，如果是则删除锁并返回成功；否则，返回失败。 下面是一个简单的 Python 代码示例： ```python import redis import time class RedisLock: def __init__(self, redis_client, lock_key, expire_time): self.redis = redis_client self.lock_key = lock_key self.expire_time = expire_time def acquire(self): while True: timestamp = int(time.time() * 1000) + self.expire_time acquired = self.redis.set(self.lock_key, timestamp, nx=True, px=self.expire_time) if acquired: return True time.sleep(0.001) def release(self): lua_script = """ if redis.call("exists", KEYS[1]) == 1 then local current_value = tonumber(redis.call("get", KEYS[1])) if current_value and current_value <= tonumber(ARGV[1]) then return redis.call("del", KEYS[1]) end end return 0 """ self.redis.eval(lua_script, 1, self.lock_key, int(time.time() * 1000) + self.expire_time) # 使用示例 redis_client = redis.Redis(host='localhost', port=6379, db=0) lock = RedisLock(redis_client, 'my_lock', 1000) # 锁的超时时间为 1000 毫秒 if lock.acquire(): try: # 执行需要加锁的代码 pass finally: lock.release() ``` 需要注意的是，以上代码仅是一个简单的实现示例，实际使用中还需要考虑异常处理、锁的可重入性、锁的可拥有时间等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值