一篇很好的关于thrift教学的博客文章,找到第五点 apach thrift.
thrift框架介绍:
1、前言
Thrift是一个跨语言的服务部署框架,最初由Facebook于2007年开发,2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型,然后通过一个编译器生成不同语言的代码(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml),并由生成的代码负责RPC协议层和传输层的实现。
thrift 采用IDL(Interface Definition Language)来定义通用的服务接口,并通过生成不同的语言代理实现来达到跨语言、平台的功能。在thrift的IDL中,我们需要关注一下几点:
1、基本类型
与java中的char,int,long等基本类型一样,IDL中也有用来描述基本类型的定义
- bool 表示一个布尔值,取true或false
- byte 表示一个带符号的字节
- i16 表示一个带符号的16位整形
- i32 表示一个带符号的32位整形
- i64 表示一个带符号的64位整形
- double 表示一个带符号的64位整形
- string 表示一个不可知编码的文本或二进制串
2、结构
结构定义了一个通用的对象以此来跨语言。主要采用struct来描述。如下我们定义了一个User对象:
- struct User {
- 1: i16 gender = 1,
- 2: string username,
- 3: string password,
- 4:i32 id
- }
上面的结构定义与C语言的结构描述很相同,每个字段都有一个唯一标识:1,2,3,4(处于版本管理的原因,推荐使用上唯一标识)。同时还可以有默认值。可以将结构的fields设置为optional,即如果在没有设置值时将不会序列化
3、容器
thrift的容器是强类型容器,能够与常用语言中的容器想对应,并可使用java泛型的方式进行标注。在thrift中提供了三种容器:
1、list<type> 一个有序元素列表。可翻译为java ArrayList或STL的vector,或者脚本语言中的原生数组,可包含重复数据
2、set<type> 一个无序不重复元素集。与STL的set,java的HashSet,Python的set,或者PHP/Ruby中的原生dictionary
3、map<type1,type2> 一个主键唯一键值映射表,翻译为STL的map,java HashMap,Python dictionary
4、异常
与结构的声明一致,唯一不同的是用exception关键字
- exception NotFoundException{
- 1:i16 errorType,
- 2:string message
- }
5、服务
一个服务的定义在语义上相当于面向对象编程中的一个接口。服务的定义如下:
- service <name> {
- <returntype> <name> (<arguments>)[throws (<exceptions>)]
- ...
- }
在方法的声明中有一个oneway修饰符,表示客户端只会触发一个请求,而不会监听任何响应,oneway的方法必须是void:
- oneway void zip()
一个例子
- service UserService{
- void saveUser(1:User user),
- User get(1:i32 id) throws (1:NotFoundException nfe)
- }
同时service也可以从另外的service继承,需要使用关键字extends,这与java的继承关键字一样:
- service Calculator extends shared.SharedService
其他的说明
1、include
通过include引用其他的thrift文件,默认在当前路径下寻找,也可以在相对路径下寻找,需要通过编译参数-I来设置
2、namespace 与java的package作用一样:
- namespace java org.java.codelib.thrift.sa
- namespace python org.java.codelib.thrift.sa
上面指定了java和python的package,在只有--gen java/python时将会生产响应的package
3、指定常量
- const i32 INT32CONSTANT = 9853
- const map<string,string> MAPCONSTANT = {'hello':'world', 'goodnight':'moon'}
或枚举:
- enum Operation {
- ADD = 1,
- SUBTRACT = 2,
- MULTIPLY = 3,
- DIVIDE = 4
- }
2、架构
Thrift实际上是实现了C/S模式,通过代码生成工具将接口定义文件生成服务器端和客户端代码(可以为不同语言),从而实现服务端和客户端跨语言的支持。用户在Thirft描述文件中声明自己的服务,这些服务经过编译后会生成相应语言的代码文件,然后用户实现服务(客户端调用服务,服务器端提服务)便可以了。其中protocol(协议层, 定义数据传输格式,可以为二进制或者XML等)和transport(传输层,定义数据传输方式,可以为TCP/IP传输,内存共享或者文件共享等)被用作运行时库。
3、 支持的数据传输格式、数据传输方式和服务模型
(1)支持的传输格式
TBinaryProtocol – 二进制格式.
TCompactProtocol – 压缩格式
TJSONProtocol – JSON格式
TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。
TDebugProtocol – 使用易懂的可读的文本格式,以便于debug
(2) 支持的数据传输方式
TSocket -阻塞式socker
TFramedTransport – 以frame为单位进行传输,非阻塞式服务中使用。
TFileTransport – 以文件形式进行传输。
TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。
TZlibTransport – 使用zlib进行压缩, 与其他传输方式联合使用。当前无java实现。
(3)支持的服务模型
TSimpleServer – 简单的单线程服务模型,常用于测试
TThreadPoolServer – 多线程服务模型,使用标准的阻塞式IO。
TNonblockingServer – 多线程服务模型,使用非阻塞式IO(需使用TFramedTransport数据传输方式)
4、 Thrift安装和demo示例
先说下我自己对thrift流程的理解:
定义一个thrift形式的接口,然后用thrift工具把它转化为java(或其他开发语言)的一个类或接口。
服务端:
java这边自定义一个类来实现接口并实现里面具体的逻辑,然后将这个具体实现类发布到tomcat服务器上。
客户端:
将thrift转化成java的类或接口引入项目,然后连接服务器,然后就可以像调用本地类一样调用(thrift转化成java的类的) 方法
thirft下载地址:http://incubator.apache.org/thrift/download/
安装要求:
Unix/linux 系统,windows+cygwin
C++语言:g++、boost
java 语言:JDK、Apache Ant
其他语言:Python、PHP、Perl, etc…
编译安装:./configure → make → make install
1、 利用Thrift部署服务
主要流程:编写服务说明,保存到.thrift文件 → 根据需要, 编译.thrift文件,生成相应的语言源代码 → 根据实际需要, 编写client端和server端代码。
(1).thrift文件编写
一般将服务放到一个.thrift文件中,服务的编写语法与C语言语法基本一致,在.thrift文件中有主要有以下几个内容:变量声明、数据声明(struct)和服务接口声明(service, 可以继承其他接口)。
thriftDefine.thrift文件:
namespace java com.unj.thrift_define
struct Book_info{
1: i32 book_id;
2: string book_name;
3: string book_author;
4: double book_price;
5: string book_publisher
}
service BookSender{
bool Sender(1: list<Book_info> books);
oneway void Sender2(1: list<Book_info> books);
}
生成C++代码:thrift -r --gen c++ thriftDefine.thrift,结果代码存放在gen-cpp目录下
生成java代码:thrift -r --gen java thriftDefine.thrift,结果代码存放在gen-java目录下
(2) client端和server端代码编写
client端和sever端代码都要调用编译.thrift生成的中间文件。
下面分析java文件下面的BookSender.java代码中的service端和client端
在client端,用户自定义BookSenderClient类型的对象(用户在.thrift文件中声明的服务名称是BookSender, 则生成的中间代码中的主类为BookSenderClient), 该对象中封装了各种服务,可以直接调用(如client.ping()), 然后thrift会通过封装的rpc调用server端同名的函数。
在server端,需要实现在.thrift文件中声明的服务中的所有功能,以便处理client发过来的请求。
使用java编写的服务端必须要将服务发布到web上供其他语言编写的客户端进行调用,服务端必须实现之前thrift中定义的各种服务并进行发布,其Service.java代码如下:
- package com.unj.thriftService;
- import java.util.List;
- import org.apache.thrift.TException;
- import org.apache.thrift.protocol.TBinaryProtocol;
- import org.apache.thrift.protocol.TBinaryProtocol.Factory;
- import org.apache.thrift.server.TServer;
- import org.apache.thrift.server.TThreadPoolServer;
- import org.apache.thrift.server.TThreadPoolServer.Args;
- import org.apache.thrift.transport.TServerSocket;
- import org.apache.thrift.transport.TTransportException;
- import com.unj.thrift_define.BookSender;
- import com.unj.thrift_define.Book_info;
- public class Service implements BookSender.Iface {
- @Override
- public boolean Sender(List<Book_info> books) throws TException {
- if (books.size() > 0) {
- for (Book_info book : books) {
- System.out.println(book);
- }
- return true;
- }
- return false;
- }
- @Override
- public void Sender2(List<Book_info> books) throws TException {
- if (books.size() > 0) {
- for (Book_info book : books) {
- System.out.println(book);
- }
- }
- }
- private void publishService() {
- try {
- TServerSocket serverTransport = new TServerSocket(7911);
- BookSender.Processor processor = new BookSender.Processor(
- new Service());
- Factory protFactory = new TBinaryProtocol.Factory(true, true);
- Args args = new Args(serverTransport);
- args.processor(processor);
- args.protocolFactory(protFactory);
- TServer server = new TThreadPoolServer(args);
- System.out.println("Starting server on port 7911 ...");
- server.serve();
- } catch (TTransportException e) {
- e.printStackTrace();
- }
- }
- public static void main(String[] args) {
- new Service().publishService();
- }
- }
这样,运行javaapplication就可以启动服务端了。
客户端也同样需要用到thrift生成的中间代码,客户端的实现Client.java代码如下:
- package com.unj.thrift_client;
- import java.util.ArrayList;
- import java.util.List;
- import org.apache.thrift.TException;
- import org.apache.thrift.protocol.TBinaryProtocol;
- import org.apache.thrift.protocol.TProtocol;
- import org.apache.thrift.transport.TSocket;
- import org.apache.thrift.transport.TTransport;
- import org.apache.thrift.transport.TTransportException;
- import com.unj.thrift_define.BookSender;
- import com.unj.thrift_define.Book_info;
- public class Client {
- public static void main(String[] args) {
- List<Book_info> books = new ArrayList<Book_info>();
- books.add(new Book_info(1, "人与自然1", "unj", 12.4, "北京人民出版社"));
- books.add(new Book_info(2, "人与自然2", "unj", 12.4, "北京人民出版社"));
- books.add(new Book_info(3, "人与自然3", "unj", 12.4, "北京人民出版社"));
- books.add(new Book_info(4, "人与自然4", "unj", 12.4, "北京人民出版社"));
- TTransport transport = new TSocket("localhost", 7911);
- TProtocol protocol = new TBinaryProtocol(transport);
- BookSender.Client client = new BookSender.Client(protocol);
- try {
- transport.open();
- if (client.Sender(books)) {
- System.out.println("hehe");
- }
- } catch (TTransportException e) {
- e.printStackTrace();
- } catch (TException e) {
- e.printStackTrace();
- }
- }
- }