thrift示例及性能测试

1     简介

Thrift是一个跨语言的服务部署框架，最初由facebook开发用做系统内各语言之间的RPC（Remote Procedure Call Protocol，远程过程调用协议通信），2007年由facebook贡献到apache基金，08年5月进入apache孵化器。Thrift通过一个中间语言IDL(interface description language, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码,并由生成的代码负责RPC协议层和传输层的实现。支持的语言有C++, Java, Python, PHP,Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml,Delphi等。

2     原理

2.1    架构

Thrift通过代码生成工具将接口定义文件生成服务器端和客户端代码（可以为不同语言），从而实现服务端和客户端跨语言的支持。用户在Thirft描述文件中声明自己的服务，这些服务经过编译后会生成相应语言的代码文件，然后用户实现服务（客户端调用服务，服务器端提服务）便可以了。其中protocol（协议层, 定义数据传输格式，可以为二进制或者XML等）和transport（传输层，定义数据传输方式，可以为TCP/IP传输，内存共享或者文件共享等）被用作运行时库。

2.2    基本概念

• Thrift中的几个概念

              Server 服务模型

              Handler 数据处理接口

              Processor 数据处理对象

              Protocol 数据传输协议

              Transport 数据传输方式

 

• 支持的服务模型[Server]

              TSimpleServer – 简单的单线程服务模型，常用于测试

              TThreadPoolServer – 多线程服务模型，使用标准的阻塞式IO。

              TNonblockingServer – 多线程服务模型，使用非阻塞式IO（需使用TFramedTransport数据传输方式）

 

• 支持的传输格式[Protocol]

              TBinaryProtocol – 二进制格式

              TCompactProtocol – 压缩格式

              TJSONProtocol – JSON格式

              TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。

              TDebugProtocol – 使用易懂的可读的文本格式，以便于debug

 

• 支持的通信方式(数据传输方式)[Transport]

              TFileTransport：文件（日志）传输类，允许client将文件传给server，允许server将收到的数据写到文件中。

              THttpTransport：采用Http传输协议进行数据传输

              TSocket：采用TCPSocket进行数据传输

              TZlibTransport：压缩后对数据进行传输，或者将收到的数据解压

3     简单示例

3.1    下载安装

登录官网下载（http://thrift.apache.org/），windows下载thrift-0.9.3.exe

放到某一路径下，例如：D:\ProgramFiles\thirft\thrift.exe(为了方便执行命令，将文件名改为thrift.exe)

环境变量Path值追加"D:\ProgramFiles\thirft"

打开cmd.exe,输入thrift –help，并回车可以看到帮助信息说明已安装成功

3.2    编写thrift文件，并编译

创建hello.thrift文件：

namespace java com.tongyin.thrift.demo   service  HelloWorldService {   string sayHello(1:string username) }

将文件放到某路径下，例：D:\dev\hello.thrift

打开cmd.exe，并执行thrift -r --gen java hello.thrift

在D:\dev\gen-java目录下编译生成了java文件，文件所在的包com.tongyin.thrift.demo是hello.thrift文件定义的namespace，

再将生成的文件拷贝到项目中

3.3    服务端代码

3.3.1        HelloWorldService编译生成的thrift服务类

拷贝编译生成的HelloWorldService.java到服务端项目

3.3.2        HelloWorldImpl服务实现类

package com.tongyin.thrift.demo;   import org.apache.thrift.TException;   /**  * 服务接口实现类  * @authorliulin  *  */ public class HelloWorldImpl implements HelloWorldService.Iface {         @Override       public String sayHello(Stringusername)throws TException {            return"Hi, " +username ;       }   }

3.3.3        HelloServerDemo服务入口类

package com.tongyin.thrift.demo;   import org.apache.thrift.TProcessor; import org.apache.thrift.protocol.TBinaryProtocol; import org.apache.thrift.server.TServer; import org.apache.thrift.server.TThreadPoolServer; import org.apache.thrift.transport.TServerSocket;   /**  * thrift服务端  * @authorliulin  *  */ public class HelloServerDemo {       //thrift服务端口号       public static final int SERVER_PORT = 7911;         public void startServer() {            try {                  System.out.println("Thrift TThreadPoolServer start ....");                    TProcessor tprocessor =new HelloWorldService.Processor<HelloWorldService.Iface>(                             new HelloWorldImpl());                     TServerSocket serverTransport =new TServerSocket(SERVER_PORT);                   TThreadPoolServer.Args ttpsArgs = new TThreadPoolServer.Args(                   serverTransport);                   ttpsArgs.processor(tprocessor);                   ttpsArgs.protocolFactory(new TBinaryProtocol.Factory());                    // 线程池服务模型，使用标准的阻塞式IO，预先创建一组线程处理请求。                   TServer server =new TThreadPoolServer(ttpsArgs);                   server.serve();              } catch (Exceptione) {                  System.out.println("Server start error!!!");                  e.printStackTrace();            }       }         /**        * @param args        */       public static void main(String[] args) {            HelloServerDemo server =new HelloServerDemo();            server.startServer();       }   }

3.4    客户端代码

3.4.1        HelloWorldService编译生成的thrift服务类

拷贝编译生成的HelloWorldService.java到客户端项目

3.4.2        HelloClientDemo客户入口类

package com.tongyin.thrift.demo;   import org.apache.thrift.TException; import org.apache.thrift.protocol.TBinaryProtocol; import org.apache.thrift.protocol.TProtocol; import org.apache.thrift.transport.TSocket; import org.apache.thrift.transport.TTransport; import org.apache.thrift.transport.TTransportException;   /**  * thrift客户端  * @authorliulin  *  */ public class HelloClientDemo {         public static final String SERVER_IP ="localhost";       public static final int SERVER_PORT = 7911;       public static final int TIMEOUT = 30000;         /**        *        * @param userName        */       public void startClient(String userName) {            TTransport transport =null;            try {                  transport = new TSocket(SERVER_IP,SERVER_PORT,TIMEOUT);                  // 协议要和服务端一致                  TProtocol protocol =new TBinaryProtocol(transport);                  HelloWorldService.Client client = new HelloWorldService.Client(                             protocol);                  transport.open();                  String result =client.sayHello(userName);                  System.out.println("Thrify client result = " +result);            } catch (TTransportExceptione) {                  e.printStackTrace();            } catch (TExceptione) {                  e.printStackTrace();            } finally {                  if (null !=transport) {                       transport.close();                  }            }       }         /**        * @param args        */       public static void main(String[] args) {            HelloClientDemo client =new HelloClientDemo();            client.startClient("Linda");       }   }

3.5    启动项目

运行HelloServerDemo，启动服务

执行HelloClientDemo，客户端获得服务端返回的数据

4     性能测试

4.1    测试准备

我采用基于httpclient的方式，将thrift与spring进行了集成，具体代码不再列出，只列出与测试相关的信息。

4.1.1        user.thrift配置文件

namespace java com.tongyin.thrift.demo   struct User {         1:  required string uid;#注释:用户id         2:  optional string name;#注释:用户名         3:  optional string mobile;#注释:用户手机号         4:  optional string email;#注释:用户邮箱         5:  optional i32 partyId;#注释:用户微信分组id,无用         6:  optional i32 sysId;#注释:用户关心系统,系统id }   service  UserService {   list<User> getAllUser(); }

4.1.2        服务实现类

返回包含10000个实例的list

package com.tongyin.thrift.demo;   import java.util.ArrayList; import java.util.List;   import org.apache.logging.log4j.LogManager; import org.apache.logging.log4j.Logger; import org.apache.thrift.TException; import org.springframework.stereotype.Service;   @Service(value="userService") public class UserServiceImpl implements UserService.Iface{             @Override       public List<User> getAllUser()throws TException {            intuserNum = 10000;            List<User> users = new ArrayList<User>();            User tempuser;            for(inti=1;i<=userNum;i++){                  tempuser = new User();                  tempuser.setUid(String.valueOf(i));                  tempuser.setName("name"+i);                  tempuser.setMobile("10086"+i);                  tempuser.setPartyId(i/10);                  tempuser.setSysId(1);                  users.add(tempuser);            }            returnusers;       }   }

4.2    thrift测试结果

耗时（毫秒）	并发量=1	并发量=50	并发量=200
第1次	615	1671	3273
第2次	68	918	3025
第3次	29	948	2973
第4次	31	1020	2875
第5次	32	1062	2938
第6次	61	915	3031
第7次	31	1001	2910
第8次	29	941	2958
第9次	28	915	2892
第10次	27	962	2893
平均值	95.1	1035.3	2976.8
2-10次平均	37.33	964.67	2943.89

5     与CXF性能对比

WebService是常用的远程调用技术，也是一种RPC（Remote Procedure CallProtocol，远程过程调用协议通信），下面以Apache CXF为例，进行性能对比。

5.1    测试准备

5.1.1        VO

采用与thrift相同的字段

5.1.2        CXF服务实现类

与thrift相同，返回包含10000个实例的list

package com.tongyin.weixin.webservice;   import java.util.ArrayList; import java.util.List;   import javax.jws.WebService;   import org.springframework.stereotype.Service;   import com.tongyin.weixin.vo.UserVo;   @WebService(serviceName="helloWs", endpointInterface="com.tongyin.weixin.webservice.ITestService") @Service("testService") public class TestService implements ITestService {         public List<UserVo> getAllUser(){            intuserNum = 10000;            List<UserVo> vos = new ArrayList<UserVo>();            UserVo tempvo;            for(inti=1;i<=userNum;i++){                  tempvo = new UserVo();                  tempvo.setUid(String.valueOf(i));                  tempvo.setName("name"+i);                  tempvo.setMobile("10086"+i);                  tempvo.setPartyId(i/10);                  tempvo.setSysId(1);                  vos.add(tempvo);            }            returnvos;       }   }

5.2    对比结果

耗时（毫秒）	并发量=1		CXF并发量=50		CXF并发量=200
	Thrift	CXF	Thrift	CXF	Thrift	CXF
第1次	615	885	1671	2506	3273	8504
第2次	68	128	918	2831	3025	6758
第3次	29	46	948	2119	2973	8564
第4次	31	57	1020	2028	2875	6701
第5次	32	60	1062	2289	2938	6788
第6次	61	47	915	2234	3031	7959
第7次	31	53	1001	2178	2910	7757
第8次	29	48	941	2248	2958	8099
第9次	28	44	915	2205	2892	7266
第10次	27	46	962	1874	2893	8580
平均值	95.1	141.4	1035.3	2251.2	2976.8	7697.6
2-10次平均	37.33	58.78	964.67	2222.89	2943.89	7608

 

l  初次调用时，Thrift和CXF都需要进行一些初始化操作，耗时较长。Thrift耗时615毫秒，CXF耗时885毫秒，CXF比Thrift要多耗时270毫秒，是Thrift耗时的1.44倍；

l  在第一次调用完毕后，随后的调用中，性能都明显提升。Thrift在2-10次耗时的平均值为37.33，CXF在2-10次耗时的平均值为58.78,CXF平均耗时要比Thrift多21.5毫秒，是Thrift的1.57倍；

l  当有50个并发请求时，Thrift耗时1035.3毫秒，CXF耗时2251.2毫秒，CXF比Thrift多耗时1215.9，是Thrift耗时的2.17倍。

l  当有200个并发请求时，Thrift耗时2976.8毫秒，CXF耗时7697.6毫秒，CXF比Thrift多耗时4720.8，是Thrift耗时的2.58倍。

5.3    总结

l  从以上对比结果来看，Thrift的性能比Apache CXF要好很多；

l  Thrift支持的语言很多，可以很方便的进行跨语言远程调用，甚至可以直接与JavaScript进行交互；

l  Thrift想要与Spring进行整合还需要编写很多代码，Apache CXF能够很容易的与spring进行整合；

l  Thrift的相关资料比较少，开发难度大，Apache CXF有丰富的资料。

参考资料：

1.  http://blog.sina.com.cn/s/blog_72995dcc0101gn82.html

2.  http://blog.csdn.net/taizhenba/article/details/49149589

3.  http://baike.baidu.com/link?url=Kn_cU65EdYIupMDdBiYn_zuopJXx_r0-zPAtvvh6jL0ts6UsSyAKXo_YYFpwNwoGvhCIB7CBxtwqrofyYjWzCK