2021SC@SDUSC BRPC源码分析（十二）thrift

最新推荐文章于 2022-09-18 22:54:10 发布
最新推荐文章于 2022-09-18 22:54:10 发布
阅读量610 收藏 1
点赞数
文章标签： apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lollo_HA/article/details/121880684
版权
本文详细介绍了如何利用brpc实现Thrift协议的支持，包括thrift框架的介绍、在Linux环境下编译thrift库，以及配置brpc支持thrift协议。此外，还展示了在客户端如何使用brpc的ThriftStub访问Thrift服务，并分析了关键的代码结构，如ThriftService和ThriftStub的实现细节，强调了其线程安全、多模式访问和性能优势。
摘要由CSDN通过智能技术生成

2021SC@SDUSC BRPC源码分析（十二）thrift

目录

thrift

thrift介绍

thrift是应用较广的RPC框架，最初由Facebook发布，后交由Apache维护。为了和thrift服务互通，同时解决thrift原生方案在多线程安全、易用性、并发能力等方面的一系列问题，brpc实现并支持thrift在NonBlocking模式下的协议(FramedProtocol), 下文均直接称为thrift协议。

相比使用原生方案的优势有：

  • 线程安全。用户不需要为每个线程建立独立的client.
  • 支持同步、异步、批量同步、批量异步等访问方式，能使用ParallelChannel等组合访问方式.
  • 支持多种连接方式(连接池, 短连接), 支持超时、backup request、取消、tracing、内置服务等一系列RPC基本福利.
  • 性能更好.

thrift编译

为了复用解析代码，brpc对thrift的支持仍需要依赖thrift库以及thrift生成的代码。

brpc默认不启用thrift支持也不需要thrift依赖。但如果需用thrift协议, 配置brpc环境的时候需加上–with-thrift或-DWITH_THRIFT=ON.

Linux下安装thrift依赖 先参考官方wiki安装好必备的依赖和工具，然后从官网下载thrift源代码，解压编译。

wget http://www.apache.org/dist/thrift/0.11.0/thrift-0.11.0.tar.gz
tar -xf thrift-0.11.0.tar.gz
cd thrift-0.11.0/
./configure --prefix=/usr --with-ruby=no --with-python=no --with-java=no --with-go=no --with-perl=no --with-php=no --with-csharp=no --with-erlang=no --with-lua=no --with-nodejs=no
make CPPFLAGS=-DFORCE_BOOST_SMART_PTR -j 4 -s
sudo make install

配置brpc支持thrift协议后make。编译完成后会生成libbrpc.a, 其中包含了支持thrift协议的扩展代码, 像正常使用brpc的代码一样链接即可。

# Ubuntu
sh config_brpc.sh --headers=/usr/include --libs=/usr/lib --with-thrift
# Fedora/CentOS
sh config_brpc.sh --headers=/usr/include --libs=/usr/lib64 --with-thrift
# Or use cmake
mkdir build && cd build && cmake ../ -DWITH_THRIFT=1

Client端访问thrift server

#include <brpc/channel.h>
#include <brpc/thrift_message.h>         // 定义了ThriftStub
...

DEFINE_string(server, "0.0.0.0:8019", "IP Address of thrift server");
DEFINE_string(load_balancer, "", "The algorithm for load balancing");
...
  
brpc::ChannelOptions options;
options.protocol = brpc::PROTOCOL_THRIFT;
brpc::Channel thrift_channel;
if (thrift_channel.Init(Flags_server.c_str(), FLAGS_load_balancer.c_str(), &options) != 0) {
   LOG(ERROR) << "Fail to initialize thrift channel";
   return -1;
}

brpc::ThriftStub stub(&thrift_channel);
...

// example::[EchoRequest/EchoResponse]是thrift生成的消息
example::EchoRequest req;
example::EchoResponse res;
req.data = "hello";

stub.CallMethod("Echo", &cntl, &req, &res, NULL);

if (cntl.Failed()) {
    LOG(ERROR) << "Fail to send thrift request, " << cntl.ErrorText();
    return -1;
}
  • 创建一个协议设置为brpc::PROTOCOL_THRIFT的Channel
  • 创建brpc::ThriftStub
  • 使用原生Request和原生Response>发起访问

代码分析

class ThriftService : public Describable {
public:
    ThriftService();
    virtual ~ThriftService();
    virtual void ProcessThriftFramedRequest(
        Controller* controller,
        ThriftFramedMessage* request,
        ThriftFramedMessage* response,
        ::google::protobuf::Closure* done) = 0;
    void Describe(std::ostream &os, const DescribeOptions&) const;

private:
DISALLOW_COPY_AND_ASSIGN(ThriftService);
friend class policy::ThriftClosure;
friend void policy::ProcessThriftRequest(InputMessageBase* msg_base);
friend class StatusService;
friend class Server;

private:
    void Expose(const butil::StringPiece& prefix);    
    MethodStatus* _status;
};
}
  • 继承这个类，让brpc服务器理解thrift_binary请求。
  • 实现这个方法来处理thrift_binary请求。
    参数:
    • controller per-rpc设置。controller->Failed()总是false。
    • request收到thrift_binary请求。
    • response应该填写的thrift_binary响应。
  • 调用done->Run()来结束处理。
  • 将代码描述放入流中。
namespace brpc {

class ThriftStub;

static const int16_t THRIFT_INVALID_FID = -1;
static const int16_t THRIFT_REQUEST_FID = 1;
static const int16_t THRIFT_RESPONSE_FID = 0;

class ThriftMessageBase {
public:
……
略
……
};

class ThriftFramedMessage : public ::google::protobuf::Message {
friend class ThriftStub;
public:
    butil::IOBuf body;
    int16_t field_id;
    
private:
    bool _own_raw_instance;
    ThriftMessageBase* _raw_instance;

public:
   ……
略
……

protected:
……
略
……

private:
……
略
……
};

class ThriftStub {
public:
……
略
……

private:
    ChannelBase* _channel;
};

namespace details {

template <typename T>
class ThriftMessageWrapper final : public ThriftMessageBase {
public:
    ThriftMessageWrapper() : msg_ptr(NULL) {}
    ThriftMessageWrapper(T* msg2) : msg_ptr(msg2) {}
    virtual ~ThriftMessageWrapper() {}
    uint32_t Read(::apache::thrift::protocol::TProtocol* iprot) override final
    { return msg_ptr->T::read(iprot); }
    uint32_t Write(::apache::thrift::protocol::TProtocol* oprot) const override final
    { return msg_ptr->T::write(oprot); }
    T* msg_ptr;
};

template <typename T>
class ThriftMessageHolder final : public ThriftMessageBase {
public:
    virtual ~ThriftMessageHolder() {}
    uint32_t Read(::apache::thrift::protocol::TProtocol* iprot) override final
    { return msg.T::read(iprot); }
    uint32_t Write(::apache::thrift::protocol::TProtocol* oprot) const override final
    { return msg.T::write(oprot); }
    T msg;
};

template <typename RESPONSE>
class ThriftDoneWrapper : public ::google::protobuf::Closure {
public:
    explicit ThriftDoneWrapper(::google::protobuf::Closure* done)
        : _done(done) {}
    void Run() override {
        _done->Run();
        delete this;
    }
private:
    ::google::protobuf::Closure* _done;
public:
    ThriftMessageWrapper<RESPONSE> raw_response_wrapper;
    ThriftFramedMessage response;
};

} 

……
略
……

template <typename REQUEST, typename RESPONSE>
void ThriftStub::CallMethod(const char* method_name,
                            Controller* cntl,
                            const REQUEST* raw_request,
                            RESPONSE* raw_response,
                            ::google::protobuf::Closure* done) {
    cntl->_thrift_method_name.assign(method_name);

    details::ThriftMessageWrapper<REQUEST>
        raw_request_wrapper(const_cast<REQUEST*>(raw_request));
    ThriftFramedMessage request;
    request._raw_instance = &raw_request_wrapper;

    if (done == NULL) {
        ThriftFramedMessage response;
        details::ThriftMessageWrapper<RESPONSE> raw_response_wrapper(raw_response);
        response._raw_instance = &raw_response_wrapper;
        _channel->CallMethod(NULL, cntl, &request, &response, NULL);
    } else {
        details::ThriftDoneWrapper<RESPONSE>* new_done =
            new details::ThriftDoneWrapper<RESPONSE>(done);
        new_done->raw_response_wrapper.msg_ptr = raw_response;
        new_done->response._raw_instance = &new_done->raw_response_wrapper;
        _channel->CallMethod(NULL, cntl, &request, &new_done->response, new_done);
    }
}
  • class ThriftFramedMessage : public ::google::protobuf::Message {}表示一个精简框架的请求或响应。
    • body; 设置为= “{ raw_instance }”
    • field_id; 必须在设置body时设置。
  • " T::"使得函数调用围绕虚函数表工作。
  • ThriftDoneWrapper闭包拥有ThriftStub需要的额外的东西。
  • 响应保证了在同步RPC之后不被使用，不需要在堆上分配它。
  • 让new_done拥有响应，并在Run()之后释放它。
Lollo_HA
关注
Thrift系列 | Thrift框架源码分析
多选参数-程序锅
10-02 742
1. Thrift框架理解 对于Thrift框架的理解，我们使用官方提供的框架图来讲解一下 client/server 对于client来说，该层是比较简单的client的业务逻辑代码，而对于server来说，有提供的几种模式的server。 Thrift的Protocol层 对于RPC来说需要能正确的传输调用的信息已经返回的结果，那么protocol层则主要负责序列化和反序列化，该层主...
thrift-0.13.0.zip
04-21
"thrift-0.13.0.zip"这个压缩包包含了Thrift 0.13.0版本的源码和工具，用于生成Go语言的Thrift接口。Thrift IDL文件描述了HBase服务的接口，包括批量读写操作。批量操作在HBase中是非常重要的，因为它们可以显著提高...
libthrift-1.0.0.jar,thrift例子,thrift源码
04-15
libthrift-1.0.0.jar,thrift例子,thrift源码 里面有你想要java版的thrift全部文件
初探brpc
Zuoerfeng
11-15 3699
今天开始对百度的这块开源项目进行学习，之前一直有听说，但是没有去尝试使用，下面就自己对brpc的学习心得进行一个总结。 1、brpc的简介 brpc又称为baidu-rpc，是百度开发一款“远过程调用”网络框架。目前该项目已在github上开源：https://github.com/brpc/brpc 从开源的github上看，确实是很有水准的一款rpc，不仅是文档内容及其丰富，其中也提到了，br...
Thrift RPC详解
kesonyk的专栏
03-18 2万+
转自http://zheming.wang/thrift-rpcxiang-jie.html Zheming HomeCategoriesTagsArchivesAboutPublication Thrift RPC详解 原创声明：本作品采用知识共享署名-非商业性使用 3.0 版本许可协议进行许
Apache Thrift Java实战源码，包含了客户端和服务端源码
07-04
Apache Thrift Java实战源码，包含了客户端和服务端源码，客户端和服务端是分开的，如果需要放到一个工程，直接把Client.java文件复制到服务端运行即可。
thrift-0.10.0
05-16
thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。该包是代码生成引擎，版本是0.10.0
基于C++ Workflow的RPC框架设计与源码，支持SRPC、百度bRPC、腾讯tRPC及thrift协议
09-25
该项目是一款基于C++ Workflow开发的RPC框架源码，全面支持SRPC、百度bRPC、腾讯tRPC及thrift等多种主流协议。该框架包含256个文件，涵盖83个头文件、69个源代码文件、29个Markdown文档、16个文本文件、13个Protocol...
thrift源码
11-16
thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码thrift源码...
基于Java语言的Thrift框架设计源码学习与实践指南
最新发布
10-01
本项目为基于Java语言的Thrift框架设计源码学习与实践指南，包含52个文件，其中Java源文件30个，属性文件4个，Git忽略文件3个，XML文件3个，Thrift文件3个，JAR包文件2个，CMD脚本2个，YML文件2个以及Markdown文件1...
Thrift源码+库文件，解压后可直接使用
09-19
Apache的开源远程调用库Thrift,最初是由Facebook开发 解压后可以直接使用(需要搭配VS2010,boost)
Thrift使用示例代码
01-19
Thrift使用示例代码，主要配合博客《由浅入深了解thrift》写的测试代码
brpc介绍、编译与使用
方亮的专栏
08-10 4万+
brpc又称为baidu-rpc，是百度开发一款“远程过程调用”网络框架。目前该项目已在github上开源——https://github.com/brpc/brpc。（转载请指明出于breaksoftware的csdn博客） 据目前公开的资料，我们发现百度内部从2010年开始，开发过若干rpc框架：ub系列rpc（ubrpc，nova_pbrpc、public_...
[thrift] thrift基本原理及使用
热门推荐
zkp_java的专栏
08-20 7万+
Thrift架构 thrift主要用于各个服务之间的RPC通信，支持跨语言。thrift是一个典型的CS结构，客户端和服务端可以使用不同的语言开发，thrift通过IDL(Interface Description Language)来关联客户端和服务端。thrift的整体架构图如下图所示 如下图所示为thrift的网络栈结构 thirft使用socket进行数据传输，数据以特定的格...
thrift 小结
chen8238065的专栏
03-10 1万+
概述Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,
RPC远程协议之Thrift入门
云水之路的专栏
03-03 2869
RPC远程协议之Thrift入门 在上一篇文章《RPC远程协议之原理分析》中，我介绍了RPC的工作原理及欲实现RPC框架功能应该做哪些事情，因为要做的事情太多，完全由开发人员研发实现，不是很现实，所以市面上出现了诸多RPC快捷框架，目前主流的有Facebook的Thrift、谷歌的gRPC，以及Dubbo，但就性能角度考虑，Thrift相对好些,并且是跨语言的，所以这里先以Thrift的介绍开始。...
C++Thrift使用手册———一文教会你快速上手Thrift
面条有点辣
09-18 6837
简单介绍RPC框架，Thrift的快速搭建，Thrift传输list案例
dubbo、dubbox、motan、thrift、grpc等RPC框架比较及选型
weixin_30648963的博客
10-28 2238
概述 前段时间项目要做服务化，所以我比较了现在流行的几大RPC框架的优缺点以及使用场景，最终结合本身项目的实际情况选择了使用dubbox作为rpc基础服务框架。下面就简单介绍一下RPC框架技术选型的过程。 RPC简述 该系列文章将讲述以下RPC框架的helloword实例以及其实现原理简述，由于每一种RPC框架的原理实现不同且都比较复杂，如果想深入研究还请自行到官网或者其他技术博客学习。R...
Brpc学习:简单回显服务器/客户端
gongluck93的博客
11-28 1万+
百度内最常使用的工业级RPC框架, 有超过600,000个实例(不包含client)和500多种服务, 在百度内叫做"baidu-rpc". 目前只开源C++版本。 你可以使用它： 搭建一个能在同端口支持多协议的服务, 或访问各种服务 restful http/https, h2/h2c (与grpc兼容, 即将开源). 使用brpc的http实现比libcurl方便多了。 redis和memcached, 线程安全，比官方client更方便。 r
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值