Apache Thrift

原创 2016年06月01日 15:22:35

概述

Thrift是Facebook实现的一种高效的、支持多种编程语言的远程服务调用的框架
Thrift 服务器包含用于绑定协议和传输层的基础架构,它提供阻塞、非阻塞、单线程和多线程的模式运行在服务器上,可以配合服务器 / 容器一起运行,可以和现有的 J2EE 服务器 /Web 容器无缝的结合

Thrift架构图

黄色部分是用户实现的业务逻辑
褐色部分是根据 Thrift 定义的服务接口描述文件生成的客户端和服务器端代码框架
红色部分是根据 Thrift 文件生成代码实现数据的读写操作
红色部分以下是 Thrift 的传输体系、协议以及底层 I/O 通信,使用 Thrift 可以很方便的定义一个服务并且选择不同的传输协议和传输层而不用重新生成代码

数据类型

Thrift脚本支持的数据类型

类型 说明 java中对应类型
bool 布尔值,bool or false boolean
byte 8位有符号整数 byte
i16 16位有符号整数 short
i32 32位有符号整数 int
i64 64位有符号整数 long
double 64位浮点数 double
string 未知编码文本或二进制字符串 String
struct 结构体类型 JavaBean
list 容器类型,数组 ArrayList
set 容器类型,集合 HashSet
map 容器类型,映射 HashMap
exception 异常类型 Exception
service 服务类型,对应服务的类

协议

大致分为文本和二进制传输协议,一般使用二进制类型协议,以节约带宽,提高传输效率,常用的有

  • TBinaryProtocol
    二进制编码格式进行数据传输

  • TCompactProtocol
    高效率的、密集的二进制编码格式进行数据传输
    服务器端使用
    TCompactProtocol.Factory factory = new TCompactProtocol.Factory();
    客户端使用
    TCompactProtocol protocol = new TCompactProtocol( transport );

  • TDenseProtocol
    类似于TCompactProtocol,但去除了发送端的数据元信息,将其增加在接收方尾部,实验性质的协议

  • TJSONProtocol
    使用JSON的数据编码协议进行数据传输
    服务器端使用
    TJSONProtocol.Factory factory = new TJSONProtocol.Factory();
    客户端使用
    TJSONProtocol protocol = new TJSONProtocol( transport )

  • TSimpleJSONProtocol
    JSON只写的协议,使用与脚本语言解析

  • TDebugProtocol
    使用自然语言文本格式来帮助调试

传输层

常用的传输层有

  • TSocket
    使用阻塞式I/O进行传输
    服务端使用
    TServerSocket serverTransport = new TServerSocket( port );
    客户端使用
    TTransport transport = new TSocket( name, port )
  • TFramedTransport
    使用非阻塞方式,按块的大小进行传输
    服务端使用
TNonblockingServerTransport serverTransport =  new TNonblockingServerSocket( port );
Hello.Processor processor =  new Hello.Processor( new HelloServiceImpl() );
TServer server =  new TNonblockingServer( proessor, serverTransport );
server.serve();

客户端使用
TTransport transport = new TFramedTransport( new TSocket( name, port ) )
使用TFramedTransport,服务端必须修改为非阻塞的服务类型

  • TFileTransport
    用于写文件,不过这种方式没有进行java实现

  • TMemoryTransport
    用内存进行I/O,java实现内部使用的简单的ByteArrayOutputStream

  • TZlibTransport
    使用zlib进行数据压缩,没有进行java实现

  • TNonblockingTransport
    使用非阻塞方式,构建异步客户端

服务端类型

常见的服务端类型有

  • TSimpleServer
    单线程服务器端使用标准的阻塞式I/O
    服务端使用方式
TServerSocker serverTransport =  new TServerSocket( port );
TProcessor processor =  new Hello.Processor( new XXImpl() );
TServer server =  new TSimpleServer( processor, serverTransport );
server.serve();

客户端无影响

  • TThreadPoolServer
    多线程服务器端使用标准的阻塞式I/O

  • TNonblockingServer
    多线程服务器端使用非阻塞式I/O

Thrift对于一个server仅允许提供一个service,可以通过定义工作组来扩展其他的service,这样模拟多个server的情形

Thrift异步客户端构建

Thrift提供了TAsyncClientManager管理客户端请求,在一个线程上追赃请求和响应,同时,通过接口AsyncClient传递标准的参数和callback对象,服务调用完成后,callback提供处理调用结果和异常的方法

  • HelloServiceAsyncServer.java
    创建非阻塞服务端实现代码
package service.server;

import org.apache.thrift.server.TNonblockingServer;
import org.apache.thrift.server.TServer;
import org.apache.thrift.transport.TNonblockingServerSocket;
import org.apache.thrift.transport.TNonblockingServerTransport;
import org.apache.thrift.transport.TTransportException;
import service.demo.Hello;
import service.demo.HelloServiceImpl;

public class HelloServiceAsyncServer {
    public static void main( String[] args ) {
        TNonblockingServerTransport serverTransport;
        try {
            serverTransport =  new TNonblockingServerSocket( 10005 );
            Hello.Processor processor =  new HelloProcessor( new HelloServiceImpl() );
            TServer server =  new TNonblockingServer( processor, serverTransport );
            server.serve();
        } catch ( TTransportException e ) {
            e.printStackTrace();
        }
    }
}

HelloServiceAsyncServer 通过 java.nio.channels.ServerSocketChannel 创建非阻塞的服务器端等待客户端的连接

  • MethodCallback.java
package service.callback;

import org.apache.thrift.async.AsyncMethodCallback;

public class MethodCallback implements AsyncMethodCallback { 
    Object response =  null;

    public Object getResult() {
        return this.response;
    }

    @Override
    public void OnComplete( Object response ) {
        this.response =  response;
    }

    @Override
    public void onError( Throwable throwable ) {
    }
}

onComplete方法接收服务处理后的结果

  • HelloServiceAsyncClient.java
    创建异步客户端实现代码,调用 Hello.AsyncClient 访问服务端的逻辑实现,将 MethodCallback 对象作为参数传入调用方法中
package service.client;

import java.io.IOException;
import org.apache.thrift.async.AsyncMethodCallback;
import org.apache.thtift.async.TAsyncClientManeger;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocolFactory;
import org.apache.thrift.transport.TNonblockingSocket;
import org.apache.thrift.transport.TNonblockingTransport;
import service.callback.MethodCallback;
import service.demo.Hello;

public class HelloServiceAsyncClient {
    public static void main( String[] args ) throws Exception {
        try {
            TAsyncClientManager clientManeger =  new TAsyncClientManager();
            TNonblockingTransport transport =  new TNonblockingSocket( "localhost", 10005 );
            TProtocolFactory factory =  new TBinaryProtocol.Factory();
            Hello.AsyncClient asyncClient =  new Hello.AsyncClient( factory, clientManager, transport );

            MethodCallback callBack =  new MethodCallback();
            asyncClient.helloString( "HelloWord", callBack );
            Object res =  callBack.getResult();
            while ( res == null )
            {
                res =  callBack.getResult();
            }
        }
    }
}

HelloServiceAsyncClient 通过 java.nio.channels.Socketchannel 创建异步客户端与服务器建立连接

示例

Hello源代码

  • Hello.thrift
namespace java service.demo

service Hello {
    string helloString( 1:string para )
    i32 helloInt( 1:i32 para )
    bool helloBoolean( 1:bool para )
    void helloVoid()
    string helloNull()
}
  • HelloServiceImpl.java
package service.demo;

import org.apache.thrift.TException;

public class HelloServiceImpl implements Hello.Iface {
    @Override
    public String helloString( String para ) throws TException {
        return para;
    }

    @Override
    public int helloInt( int para ) throws TException {
        try {
            Thread.sleep( 20000 );
        } catch ( InterruptedException e ) {
            e.printStackTrace();
        }

        return para;    
    }

    @Override
    public boolean helloBoolean( boolean para ) throws TException {
        return para;
    }

    @Override
    public void helloVoid() throws TException {
        System.out.println( "Hello World" );
    }

    @Override
    public String helloNull() throws TException {
        return null;
    }
}
  • HelloServiceServer.java
package service.server;

import org.apache.thrift.TProcessor;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TBinaryPortocol.Factory;
import org.apache.thrift.server.TServer;
import org.apache.thrift.server.TThreadPoolServer;
import org.apache.thrift.transport.TServerSocket;
import org.apache.thrift.transport.TTransportException;
import service.demo.Hello;
import service.demo.HelloServiceImpl;

public class HelloServiceServer {
    public static void main( String[] args ) {
        try {
            TServerSocket serverTransport = new TServerSocket( 7911 );
            Factory factory =   new TBinaryProtocol.Factory();
            TProcessor processor =  new Hello.Processor( new HelloServiceImpl() );

            TServer server =    new TThreadPoolServer( processor, serverTransport, factory );
            server.serve();
        } catch ( TTransportException e ) {
            e.printStackTrace();
        }
    }
}
  • HelloServiceClient.java
package service.client;

import org.apache.thrift.TException;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocol;
import org.apache.thrift.transport.TTransport;
import org.apache.thrift.transport.TSocket;
import org.apache.thrift.transport.TTransportException;
import service.demo.Hello;

public class HelloServiceClient {
    public static void main( String[] args ) {
        try {
            TTransport transport =  new TSocket( "localhost", 7911 );
            transport.open();
            TProtocol protocol =    new TBinaryProtocol( transport );
            Hello.Client client =   new Hello.Client( protocol );

            client.helloVoid();
            transport.close();
        } catch ( TTransportException e ) {
            e.printStackTrace();
        } catch ( TException e ) {
            e.printStackTrace();
        }
    }
}

Hello服务端和客户端调用流程

服务端时序

Server端启动服务时序图

程序调用了 TThreadPoolServer 的 serve 方法后,server 进入阻塞监听状态,其阻塞在 TServerSocket 的 accept 方法上。当接收到来自客户端的消息后,服务器发起一个新线程处理这个消息请求,原线程再次进入阻塞状态。在新线程中,服务器通过 TBinaryProtocol 协议读取消息内容,调用 HelloServiceImpl 的 helloVoid 方法,并将结果写入 helloVoid_result 中传回客户端

客户端时序

Client端调用时序

程序调用了 Hello.Client 的 helloVoid 方法,在 helloVoid 方法中,通过 send_helloVoid 方法发送对服务的调用请求,通过 recv_helloVoid 方法接收服务处理请求后返回的结果

NULL问题

在 Thrift 中,直接调用一个返回 null 值的方法会抛出 TApplicationException 异常(异常种类为 MISSING_RESULT)
为了处理返回 null 值情况,我们要捕获该异常,并进行相应的处理


参考链接:
1. Apache Thrift - 可伸缩的跨语言服务开发框架
2. Apache Thrift - SETT

版权声明:本文为博主原创文章......所以,请随意转载

Apache顶级项目介绍9-Thrift

年末最后一弹,我们来简单介绍一下Apache顶级项目Thrift并尝试了解其内部实现机制。 1. Thrift介绍 Thrift最初是由Facebook操刀实现的一个内部项目,主要用于Fa...
  • ErixHao
  • ErixHao
  • 2016年12月31日 11:28
  • 1193

ubuntu下安装使用Thrift

 1、简介 Thrift是Facebook的一个开源项目,主要是一个跨语言的服务开发框架。它有一个代码生成器来对它所定义的IDL定义文件自动生成服务代 码框 架。用户只要在其之前进行二次开发就...
  • zhuzhenyang110
  • zhuzhenyang110
  • 2014年12月02日 16:24
  • 876

Apache Thrift 在Windows下的安装与开发

Windows下安装Thrift框架的教程很多。本文的不同之处在于,不借助Cygwin或者MinGW,用VS2010,和Thrift官网下载的源文件,安装Thrift并使用。   先从官网 htt...
  • colouroo
  • colouroo
  • 2014年08月15日 17:29
  • 6379

架构设计:系统间通信(11)——RPC实例Apache Thrift 上篇

通过上一篇文章《架构设计:系统间通信(10)——RPC的基本概念》的介绍,相信读者已经理解了基本的RPC概念。为了加深这个理解,后面几篇文章我将详细讲解一款典型的RPC规范的实现Apache Thri...
  • yinwenjie
  • yinwenjie
  • 2015年11月06日 17:24
  • 11305

Apache Thrift 配置与简单实例——C# C/S 通信

Apache Thrift 配置与简单实例——C# C/S 通信Thrift Thrift 下载、Thrift 脚本编写、Server 端代码、Client 端代码、运行。...
  • withchris
  • withchris
  • 2016年04月14日 14:56
  • 1596

Thrift源码分析(八)--总结加一个完整的可运行的Thrift例子

前面七篇文章分析了Thrfit的方方面面,看到这里时应该对Thrift有了深入的理解。 Thrift源码分析(一)-- 基本概念 Thrift源码分析(二)-- 协议和编解码 Thrift源码分...
  • ITer_ZC
  • ITer_ZC
  • 2014年09月30日 16:32
  • 5044

thrift C++代码分析

C++生成的代码,越上面的越新 Calculator.cpp Calculator.h Calculator_server.skeleton.cpp shared_constants.cpp ...
  • deusomax
  • deusomax
  • 2016年09月29日 17:52
  • 756

VS2008 thrift简单使用示例

thrift-0.9.3 编译依赖第三方库 boost_1_53_0、OPENSSL VS2008 编译thrift 上一篇文章已经介绍过,这里不再介绍,简单举例说明如何使用 IDL 文件 stu...
  • liangzhao_jay
  • liangzhao_jay
  • 2016年09月30日 15:15
  • 580

IOS/MAC中使用Thrift框架

1.thrift的安装 https://github.com/apache/thrift 官方的安装实在是太麻烦了,我使用brew安装变得特别简单 http://stackoverflow.com/...
  • yohunl
  • yohunl
  • 2014年12月05日 15:45
  • 9986

Thrift双向异步远程调用(外文翻译)学习第一步

最近在钻研thrift协议. 经过浅薄的学习后发现thrift在设计时是针对应答的模式,这样的方式使得服务端显得很被动,因为只有在客户端发送过来请求时服务端才能返回一条消息到客户端.经过在网上查询资...
  • qq_27989757
  • qq_27989757
  • 2016年02月23日 20:45
  • 2067
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache Thrift
举报原因:
原因补充:

(最多只允许输入30个字)