thrift简易教程

一篇很好的关于thrift教学的博客文章，找到第五点 apach thrift.

博客地址： http://dongxicheng.org/recommend/

以及引用到的文章： http://mj4d.iteye.com/blog/1798184

我的demo地址： http://download.csdn.net/detail/u012049463/6397617

thrift框架介绍：

1、前言

Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,并由生成的代码负责RPC协议层和传输层的实现。

thrift 采用IDL（Interface Definition Language）来定义通用的服务接口，并通过生成不同的语言代理实现来达到跨语言、平台的功能。在thrift的IDL中，我们需要关注一下几点：

1、基本类型

与java中的char，int，long等基本类型一样，IDL中也有用来描述基本类型的定义

• bool 表示一个布尔值，取true或false
• byte 表示一个带符号的字节
• i16 表示一个带符号的16位整形
• i32 表示一个带符号的32位整形
• i64 表示一个带符号的64位整形
• double 表示一个带符号的64位整形
• string 表示一个不可知编码的文本或二进制串

 

2、结构

结构定义了一个通用的对象以此来跨语言。主要采用struct来描述。如下我们定义了一个User对象：

Java代码  

1. struct User {  
2.     1: i16 gender = 1,  
3.     2: string username,  
4.     3: string password,  
5.     4:i32 id  
6. }  

上面的结构定义与C语言的结构描述很相同，每个字段都有一个唯一标识：1,2,3,4(处于版本管理的原因，推荐使用上唯一标识)。同时还可以有默认值。可以将结构的fields设置为optional，即如果在没有设置值时将不会序列化

  3、容器

thrift的容器是强类型容器，能够与常用语言中的容器想对应，并可使用java泛型的方式进行标注。在thrift中提供了三种容器：

1、list<type> 一个有序元素列表。可翻译为java ArrayList或STL的vector，或者脚本语言中的原生数组，可包含重复数据

2、set<type> 一个无序不重复元素集。与STL的set，java的HashSet，Python的set，或者PHP/Ruby中的原生dictionary

3、map<type1,type2> 一个主键唯一键值映射表，翻译为STL的map，java HashMap，Python dictionary

 4、异常

与结构的声明一致，唯一不同的是用exception关键字

Java代码  

1. exception NotFoundException{  
2.     1:i16 errorType,  
3.     2:string message  
4. }  

 

 5、服务

一个服务的定义在语义上相当于面向对象编程中的一个接口。服务的定义如下：

Java代码  

1. service <name> {  
2.   <returntype> <name> (<arguments>)[throws (<exceptions>)]  
3.   ...  
4. }  

 在方法的声明中有一个oneway修饰符，表示客户端只会触发一个请求，而不会监听任何响应，oneway的方法必须是void：

Java代码  

1. oneway void zip()  

一个例子

Java代码  

1. service UserService{  
2.   void saveUser(1:User user),  
3.   User get(1:i32 id) throws (1:NotFoundException nfe)  
4. }  

 同时service也可以从另外的service继承，需要使用关键字extends，这与java的继承关键字一样：

Java代码  

1. service Calculator extends shared.SharedService   

 

其他的说明

1、include

通过include引用其他的thrift文件，默认在当前路径下寻找，也可以在相对路径下寻找，需要通过编译参数-I来设置

 

2、namespace 与java的package作用一样：

Java代码  

1. namespace java org.java.codelib.thrift.sa  
2. namespace python org.java.codelib.thrift.sa  

 上面指定了java和python的package，在只有--gen java/python时将会生产响应的package

 

3、指定常量

Java代码  

1. const i32 INT32CONSTANT = 9853  
2. const map<string,string> MAPCONSTANT = {'hello':'world', 'goodnight':'moon'}  

或枚举：

Java代码  

1. enum Operation {  
2.   ADD = 1,  
3.   SUBTRACT = 2,  
4.   MULTIPLY = 3,  
5.   DIVIDE = 4  
6. }  

2、架构

Thrift实际上是实现了C/S模式，通过代码生成工具将接口定义文件生成服务器端和客户端代码（可以为不同语言），从而实现服务端和客户端跨语言的支持。用户在Thirft描述文件中声明自己的服务，这些服务经过编译后会生成相应语言的代码文件，然后用户实现服务（客户端调用服务，服务器端提服务）便可以了。其中protocol（协议层, 定义数据传输格式，可以为二进制或者XML等）和transport（传输层，定义数据传输方式，可以为TCP/IP传输，内存共享或者文件共享等）被用作运行时库。

3、 支持的数据传输格式、数据传输方式和服务模型

（1）支持的传输格式

TBinaryProtocol – 二进制格式.

TCompactProtocol – 压缩格式

TJSONProtocol – JSON格式

TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。

TDebugProtocol – 使用易懂的可读的文本格式，以便于debug

（2） 支持的数据传输方式

TSocket -阻塞式socker

TFramedTransport – 以frame为单位进行传输，非阻塞式服务中使用。

TFileTransport – 以文件形式进行传输。

TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。

TZlibTransport – 使用zlib进行压缩， 与其他传输方式联合使用。当前无java实现。

（3）支持的服务模型

TSimpleServer – 简单的单线程服务模型，常用于测试

TThreadPoolServer – 多线程服务模型，使用标准的阻塞式IO。

TNonblockingServer – 多线程服务模型，使用非阻塞式IO（需使用TFramedTransport数据传输方式）

4、 Thrift安装和demo示例

先说下我自己对thrift流程的理解：

定义一个thrift形式的接口，然后用thrift工具把它转化为java（或其他开发语言）的一个类或接口。
服务端：
java这边自定义一个类来实现接口并实现里面具体的逻辑，然后将这个具体实现类发布到tomcat服务器上。
         客户端：
将thrift转化成java的类或接口引入项目，然后连接服务器，然后就可以像调用本地类一样调用(thrift转化成java的类的) 方法

thirft下载地址：http://incubator.apache.org/thrift/download/

安装要求：

Unix/linux 系统，windows+cygwin

C++语言：g++、boost

java 语言：JDK、Apache Ant

其他语言：Python、PHP、Perl, etc…

编译安装：./configure  → make  → make install

1、 利用Thrift部署服务

主要流程：编写服务说明，保存到.thrift文件  → 根据需要， 编译.thrift文件，生成相应的语言源代码   →   根据实际需要， 编写client端和server端代码。

（1）.thrift文件编写

一般将服务放到一个.thrift文件中，服务的编写语法与C语言语法基本一致，在.thrift文件中有主要有以下几个内容：变量声明、数据声明（struct）和服务接口声明（service, 可以继承其他接口）。

thriftDefine.thrift文件：

namespace java com.unj.thrift_define

struct Book_info{
1: i32 book_id;
2: string book_name;
3: string book_author;
4: double book_price;
5: string book_publisher
}
service BookSender{
bool Sender(1: list<Book_info> books);
oneway void  Sender2(1: list<Book_info> books);
}

idl文件编写完之后，想生成java或c++等文件首先得安装thrift（thrift下载地址： http://thrift.apache.org/download/），然后在cmd中执行如下命令,

生成C++代码：thrift -r --gen c++ thriftDefine.thrift，结果代码存放在gen-cpp目录下

生成java代码：thrift -r --gen java thriftDefine.thrift，结果代码存放在gen-java目录下

这样就会生成对应的java文件 Book_info.java和 BookSender.java两个文件。

如图所示：

（2） client端和server端代码编写

client端和sever端代码都要调用编译.thrift生成的中间文件。

下面分析java文件下面的BookSender.java代码中的service端和client端

在client端，用户自定义BookSenderClient类型的对象（用户在.thrift文件中声明的服务名称是BookSender， 则生成的中间代码中的主类为BookSenderClient）， 该对象中封装了各种服务，可以直接调用（如client.ping()）, 然后thrift会通过封装的rpc调用server端同名的函数。

在server端，需要实现在.thrift文件中声明的服务中的所有功能，以便处理client发过来的请求。

使用java编写的服务端必须要将服务发布到web上供其他语言编写的客户端进行调用，服务端必须实现之前thrift中定义的各种服务并进行发布，其Service.java代码如下：

[html]  view plain copy

1. package com.unj.thriftService;  
2.   
3. import java.util.List;  
4.   
5. import org.apache.thrift.TException;  
6. import org.apache.thrift.protocol.TBinaryProtocol;  
7. import org.apache.thrift.protocol.TBinaryProtocol.Factory;  
8. import org.apache.thrift.server.TServer;  
9. import org.apache.thrift.server.TThreadPoolServer;  
10. import org.apache.thrift.server.TThreadPoolServer.Args;  
11. import org.apache.thrift.transport.TServerSocket;  
12. import org.apache.thrift.transport.TTransportException;  
13.   
14. import com.unj.thrift_define.BookSender;  
15. import com.unj.thrift_define.Book_info;  
16.   
17. public class Service implements BookSender.Iface {  
18.   
19.     @Override  
20.     public boolean Sender(List<Book_info> books) throws TException {  
21.         if (books.size() > 0) {  
22.             for (Book_info book : books) {  
23.                 System.out.println(book);  
24.             }  
25.             return true;  
26.         }  
27.         return false;  
28.     }  
29.   
30.     @Override  
31.     public void Sender2(List<Book_info> books) throws TException {  
32.         if (books.size() > 0) {  
33.             for (Book_info book : books) {  
34.                 System.out.println(book);  
35.             }  
36.         }  
37.     }  
38.   
39.     private void publishService() {  
40.         try {  
41.             TServerSocket serverTransport = new TServerSocket(7911);  
42.             BookSender.Processor processor = new BookSender.Processor(  
43.                     new Service());  
44.             Factory protFactory = new TBinaryProtocol.Factory(true, true);  
45.             Args args = new Args(serverTransport);  
46.             args.processor(processor);  
47.             args.protocolFactory(protFactory);  
48.             TServer server = new TThreadPoolServer(args);  
49.             System.out.println("Starting server on port 7911 ...");  
50.             server.serve();  
51.         } catch (TTransportException e) {  
52.             e.printStackTrace();  
53.         }  
54.     }  
55.       
56.     public static void main(String[] args) {  
57.         new Service().publishService();  
58.     }  
59. }  

这样，运行javaapplication就可以启动服务端了。

客户端也同样需要用到thrift生成的中间代码，客户端的实现Client.java代码如下：

[html]  view plain copy

1. package com.unj.thrift_client;  
2.   
3. import java.util.ArrayList;  
4. import java.util.List;  
5.   
6. import org.apache.thrift.TException;  
7. import org.apache.thrift.protocol.TBinaryProtocol;  
8. import org.apache.thrift.protocol.TProtocol;  
9. import org.apache.thrift.transport.TSocket;  
10. import org.apache.thrift.transport.TTransport;  
11. import org.apache.thrift.transport.TTransportException;  
12.   
13. import com.unj.thrift_define.BookSender;  
14. import com.unj.thrift_define.Book_info;  
15.   
16. public class Client {  
17.     public static void main(String[] args) {  
18.         List<Book_info> books = new ArrayList<Book_info>();  
19.         books.add(new Book_info(1, "人与自然1", "unj", 12.4, "北京人民出版社"));  
20.         books.add(new Book_info(2, "人与自然2", "unj", 12.4, "北京人民出版社"));  
21.         books.add(new Book_info(3, "人与自然3", "unj", 12.4, "北京人民出版社"));  
22.         books.add(new Book_info(4, "人与自然4", "unj", 12.4, "北京人民出版社"));  
23.         TTransport transport = new TSocket("localhost", 7911);  
24.         TProtocol protocol = new TBinaryProtocol(transport);  
25.         BookSender.Client client = new BookSender.Client(protocol);  
26.         try {  
27.             transport.open();  
28.             if (client.Sender(books)) {  
29.                 System.out.println("hehe");  
30.             }  
31.         } catch (TTransportException e) {  
32.             e.printStackTrace();  
33.         } catch (TException e) {  
34.             e.printStackTrace();  
35.         }  
36.     }  
37. }