Thrift学习

接触Thrift不到一个礼拜,用是会用了,对于其原理还是需要深入把握一些,最好的资料莫过于《Thrift:Scalable Cross-Language Services Implementation》,FB原创,拜读了一下,文章目的在于阐述他们的设计思想和取舍,也对基本应用有一些涵盖,当然用起来还是比较容易的,但是想玩转,就需要细致的了解了。

另外主要参考的一篇文章:http://dongxicheng.org/search-engine/search-engine/thrift-rpc/    非常好,总共有三篇


个人的理解,就是在不同语言之间传递服务(函数)和数据(data),而服务的传递也就是通过参数和返回值实现的,比如官网上提供的例子:

struct UserProfile {
        1: i32 uid,
        2: string name,
        3: string blurb
      }
      service UserStorage {
        void store(1: UserProfile user),
        UserProfile retrieve(1: i32 uid)
      }


非常典型,有自定义的结构体:UserProfile,结构体中有的声明与正常语言的差异仅在于多了一个Field identitiy,是为了传输层而设计,如果不手工加上,系统也会自动加入,但是会从-1递减,以和手工加的做区别,顺便说下几种内置types: 1. bool; 2.byte; 3. i16; 4.i32; 5.double 6.string. 关于为什么选择这些做内置类型,FB有所取舍,比如没有unsigned等等。


除了已经看到的struct和service(之后再提这个),加上提到的base type, thrift还支持几种container: 1.list<type>; 2.set<type>; 3.map<type1:type2>; 关于这几个类型映射成为不同语言的什么容器,这个等到用的时候再看,另外thrift还支持Exceptions(这个有空看看怎么用的)。


总结一下,thrift传递的就是:1.base type; 2.struct; 3.container; 4.service; 5.exception。 然后在service中生命的接口函数中的参数和struct中的参数要加上field identity,如果不加系统会自动加上。


那么thrift是如何做到的?


先看这张图,对于Thrift的总体框架解释还算是清晰


我们使用thrift的最终目的是在不同code间传递数据,也就是黄色那两块儿,但是不同语言间肯定不能直接连线,因为互相的数据结构和定义不同,比如python肯定不认识c++的stl的list,thrift就由此提供了一套转换机制和传输机制,举个例子,比如c++想要调用python中的一个函数,参数是一组list,返回值是string,那么c++发起申请提供一个c++中的list,经过thrift的转换变成码流传递给python所在的服务器,thrift再将码流变成python的list,传递给python,比如python又要返回一个string回去,thrift又在服务器上转换,最后通过码流的形式又转给C++所在的client,client上的thrift将数据转换为C++能识别的string,整个过程就结束了,一个位于Client的C++程序成功的调用了一个位于Server上的Python程序,并且得到了返回值。当然这里面全部的过程和机制不仅仅是这样简单了。


下面对这个过程细致的分析一下,当然还是以论文《Thrift:Scalable Cross-Language Services Implementation》的内容为主


1. 咖啡色部分:产生的客户端和处理器的代码


2. 红色部分:两端的计算结果


3. 紫色部分:通信协议

对应Protcocol

TBinaryProtocol – 二进制格式.

TCompactProtocol – 压缩格式

TJSONProtocol – JSON格式

TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。

TDebugProtocol – 使用易懂的可读的文本格式,以便于debug

        ...


这里的意思,大概是对上层的数据进行编码,比如TBinaryProtocol对上层进行二进制编码,TCompactProtocol进行压缩格式编码,TDebugProtocol用可读模式编码,大概会传递unicode之类的东西,这里还不涉及具体传输的问题,具体的可以查看一下相关代码。


4.蓝色部分:传输层协议

对应Transport

TSocket -阻塞式socker

TFramedTransport – 以frame为单位进行传输,非阻塞式服务中使用。

TFileTransport – 以文件形式进行传输。

TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。

TZlibTransport – 使用zlib进行压缩, 与其他传输方式联合使用。当前无java实现。

貌似还有很多,这里就完全是传输的问题了,对于上层的内容,这层是不了解的,所以可以以不同模式传输。



到这儿,我觉得自己的只是覆盖又不够了,传输层的Socket、阻塞非阻塞这些都不太了解还,具体的还是要再看一下IO方面的内容。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值