接触Thrift不到一个礼拜,用是会用了,对于其原理还是需要深入把握一些,最好的资料莫过于《Thrift:Scalable Cross-Language Services Implementation》,FB原创,拜读了一下,文章目的在于阐述他们的设计思想和取舍,也对基本应用有一些涵盖,当然用起来还是比较容易的,但是想玩转,就需要细致的了解了。
另外主要参考的一篇文章:http://dongxicheng.org/search-engine/search-engine/thrift-rpc/ 非常好,总共有三篇
个人的理解,就是在不同语言之间传递服务(函数)和数据(data),而服务的传递也就是通过参数和返回值实现的,比如官网上提供的例子:
struct UserProfile {
1: i32 uid,
2: string name,
3: string blurb
}
service UserStorage {
void store(1: UserProfile user),
UserProfile retrieve(1: i32 uid)
}
非常典型,有自定义的结构体:UserProfile,结构体中有的声明与正常语言的差异仅在于多了一个Field identitiy,是为了传输层而设计,如果不手工加上,系统也会自动加入,但是会从-1递减,以和手工加的做区别,顺便说下几种内置types: 1. bool; 2.byte; 3. i16; 4.i32; 5.double 6.string. 关于为什么选择这些做内置类型,FB有所取舍,比如没有unsigned等等。
除了已经看到的struct和service(之后再提这个),加上提到的base type, thrift还支持几种container: 1.list<type>; 2.set<type>; 3.map<type1:type2>; 关于这几个类型映射成为不同语言的什么容器,这个等到用的时候再看,另外thrift还支持Exceptions(这个有空看看怎么用的)。
总结一下,thrift传递的就是:1.base type; 2.struct; 3.container; 4.service; 5.exception。 然后在service中生命的接口函数中的参数和struct中的参数要加上field identity,如果不加系统会自动加上。
那么thrift是如何做到的?
先看这张图,对于Thrift的总体框架解释还算是清晰
我们使用thrift的最终目的是在不同code间传递数据,也就是黄色那两块儿,但是不同语言间肯定不能直接连线,因为互相的数据结构和定义不同,比如python肯定不认识c++的stl的list,thrift就由此提供了一套转换机制和传输机制,举个例子,比如c++想要调用python中的一个函数,参数是一组list,返回值是string,那么c++发起申请提供一个c++中的list,经过thrift的转换变成码流传递给python所在的服务器,thrift再将码流变成python的list,传递给python,比如python又要返回一个string回去,thrift又在服务器上转换,最后通过码流的形式又转给C++所在的client,client上的thrift将数据转换为C++能识别的string,整个过程就结束了,一个位于Client的C++程序成功的调用了一个位于Server上的Python程序,并且得到了返回值。当然这里面全部的过程和机制不仅仅是这样简单了。
下面对这个过程细致的分析一下,当然还是以论文《Thrift:Scalable Cross-Language Services Implementation》的内容为主
1. 咖啡色部分:产生的客户端和处理器的代码
2. 红色部分:两端的计算结果
3. 紫色部分:通信协议
对应Protcocol
TBinaryProtocol – 二进制格式.
TCompactProtocol – 压缩格式
TJSONProtocol – JSON格式
TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。
TDebugProtocol – 使用易懂的可读的文本格式,以便于debug
...
这里的意思,大概是对上层的数据进行编码,比如TBinaryProtocol对上层进行二进制编码,TCompactProtocol进行压缩格式编码,TDebugProtocol用可读模式编码,大概会传递unicode之类的东西,这里还不涉及具体传输的问题,具体的可以查看一下相关代码。
4.蓝色部分:传输层协议
对应Transport
TSocket -阻塞式socker
TFramedTransport – 以frame为单位进行传输,非阻塞式服务中使用。
TFileTransport – 以文件形式进行传输。
TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。
TZlibTransport – 使用zlib进行压缩, 与其他传输方式联合使用。当前无java实现。
貌似还有很多,这里就完全是传输的问题了,对于上层的内容,这层是不了解的,所以可以以不同模式传输。
到这儿,我觉得自己的只是覆盖又不够了,传输层的Socket、阻塞非阻塞这些都不太了解还,具体的还是要再看一下IO方面的内容。