Thrfit 服务端请求处理流程

Thrift 专栏收录该内容
7 篇文章 0 订阅

使用同步的非阻塞的服务端的请求处理流程

实现

IDL

  • helloworld.thrift
namespace java io.github.helloworlde.thrift

struct HelloMessage {
    1: required string message,
}

struct HelloResponse {
    1: required string message,
}

service HelloService {
    HelloResponse sayHello(1: HelloMessage request);
}

服务端实现

使用 TThreadedSelectorServer 作为服务端,支持接收连接,处理 IO 事件,执行请求由不同的线程实现;底层连接使用 ServerSocket

public class NonblockingServer {

    @SneakyThrows
    public static void main(String[] args) {

        HelloServiceImpl helloService = new HelloServiceImpl();
        HelloService.Processor<HelloService.Iface> helloServiceProcessor = new HelloService.Processor<>(helloService);

        TNonblockingServerTransport transport = new TNonblockingServerSocket(9090);

        // 配置参数以及处理器
        TThreadedSelectorServer.Args serverArgs = new TThreadedSelectorServer.Args(transport)
                .selectorThreads(4)
                .workerThreads(10)
                .acceptQueueSizePerThread(20)
                .processor(helloServiceProcessor);

        TServer server = new TThreadedSelectorServer(serverArgs);
        server.serve();
    }
}

请求处理流程

1. 启动 Server

TServer server = new TThreadedSelectorServer(serverArgs);
server.serve();
  • org.apache.thrift.server.AbstractNonblockingServer#serve

启动 Server,启动用于连接的线程 AcceptThread 和用于处理 IO 事件的多个线程 SelectorThread;然后开始监听 IO 事件,由线程池处理请求

public void serve() {
    // 启动
    if (!startThreads()) {
        return;
    }
    // 开始监听
    if (!startListening()) {
        return;
    }
    // 修改状态
    setServing(true);
    // 阻塞直到关闭
    waitForShutdown();
    setServing(false);
    // 停止监听器
    stopListening();
}
  • org.apache.thrift.server.TThreadedSelectorServer#startThreads

启动用于连接的线程 AcceptThread 和用于处理 IO 事件的多个线程 SelectorThread

protected boolean startThreads() {
    try {
        // 创建选择线程,并添加到集合中
        for (int i = 0; i < args.selectorThreads; ++i) {
            selectorThreads.add(new SelectorThread(args.acceptQueueSizePerThread));
        }
        // 创建处理连接的负载均衡, 创建处理连接的线程
        acceptThread = new AcceptThread((TNonblockingServerTransport) serverTransport_, createSelectorThreadLoadBalancer(selectorThreads));

        // 启动选择线程
        for (SelectorThread thread : selectorThreads) {
            thread.start();
        }
        // 启动连接的线程
        acceptThread.start();
        return true;
    } catch (IOException e) {
        LOGGER.error("Failed to start threads!", e);
        return false;
    }
}
  • org.apache.thrift.transport.TNonblockingServerSocket#listen

开始监听

public void listen() throws TTransportException {
    // Make sure not to block on accept
    if (serverSocket_ != null) {
        try {
            serverSocket_.setSoTimeout(0);
        } catch (SocketException sx) {
            LOGGER.error("Socket exception while setting socket timeout", sx);
        }
    }
}

2. 处理连接事件

  • org.apache.thrift.server.TThreadedSelectorServer.AcceptThread#run

连接事件由 AcceptThread 线程独立处理;会循环监听 Selector事件,当有新的连接事件时,会建立连接

public void run() {
    try {
        if (eventHandler_ != null) {
            // 通知 Server 开始启动
            eventHandler_.preServe();
        }

        while (!stopped_) {
            // 选择处理连接
            select();
        }
    } finally {
        acceptSelector.close();
        TThreadedSelectorServer.this.stop();
    }
}
  • org.apache.thrift.server.TThreadedSelectorServer.AcceptThread#select

会不断从 Selector获取事件,判断如果是 accept 事件,则处理,并建立连接

private void select() {
    try {
        // 等待连接事件
        acceptSelector.select();

        // 处理接收到的事件
        Iterator<SelectionKey> selectedKeys = acceptSelector.selectedKeys().iterator();
        while (!stopped_ && selectedKeys.hasNext()) {
            SelectionKey key = selectedKeys.next();
            selectedKeys.remove();

            if (!key.isValid()) {
                continue;
            }

            if (key.isAcceptable()) {
                // 建立连接
                handleAccept();
            } else {
                LOGGER.warn("Unexpected state in select! " + key.interestOps());
            }
        }
    } catch (IOException e) {
        LOGGER.warn("Got an IOException while selecting!", e);
    }
}
  • org.apache.thrift.server.TThreadedSelectorServer.AcceptThread#handleAccept

会通过底层的 ServerSocketChannel 建立连接,然后将这个连接添加到 SelectorThread 的队列中,由 SelectorThread处理 IO 事件

private void handleAccept() {
    // 建立连接
    final TNonblockingTransport client = doAccept();
    if (client != null) {
        // 将连接传递给选择线程
        final SelectorThread targetThread = threadChooser.nextThread();

        // 如果策略是尽快建立连接,则添加到处理的队列中
        if (args.acceptPolicy == Args.AcceptPolicy.FAST_ACCEPT || invoker == null) {
            doAddAccept(targetThread, client);
        } else {
            try {
                // 如果是 FAIR_ACCEPT,则提交异步任务进行添加
                invoker.submit(new Runnable() {
                    public void run() {
                        doAddAccept(targetThread, client);
                    }
                });
            } catch (RejectedExecutionException rx) {
                LOGGER.warn("ExecutorService rejected accept registration!", rx);
                // close immediately
                client.close();
            }
        }
    }
}
  • org.apache.thrift.transport.TNonblockingServerSocket#acceptImpl

建立连接,返回新的 TNonblockingSocket

protected TNonblockingSocket acceptImpl() throws TTransportException {
    if (serverSocket_ == null) {
        throw new TTransportException(TTransportException.NOT_OPEN, "No underlying server socket.");
    }
    try {
        // 接受连接
        SocketChannel socketChannel = serverSocketChannel.accept();
        if (socketChannel == null) {
            return null;
        }

        // 使用 Channel 构建 Socket
        TNonblockingSocket tsocket = new TNonblockingSocket(socketChannel);
        tsocket.setTimeout(clientTimeout_);
        return tsocket;
    } catch (IOException iox) {
        throw new TTransportException(iox);
    }
}
  • org.apache.thrift.server.TThreadedSelectorServer.SelectorThread#addAcceptedConnection

将连接添加到 SelectorThread的队列中,由 SelectorThread处理 IO 事件

public boolean addAcceptedConnection(TNonblockingTransport accepted) {
    try {
        // 放入队列中
        acceptedQueue.put(accepted);
    } catch (InterruptedException e) {
        LOGGER.warn("Interrupted while adding accepted connection!", e);
        return false;
    }
    selector.wakeup();
    return true;
}

3. 处理 IO 事件

IO 事件由 SelectorThread 处理

  • org.apache.thrift.server.TThreadedSelectorServer.SelectorThread#run

轮询读取事件,如果是 IO 事件,则分别处理;如果是新的连接,则注册 Selector

public void run() {
    try {
        while (!stopped_) {
            // 选择读取或写入事件
            select();
            // 处理新的连接
            processAcceptedConnections();
            // 改变需要改变的状态
            processInterestChanges();
        }

        // 如果停止了,则清理选择
        for (SelectionKey selectionKey : selector.keys()) {
            cleanupSelectionKey(selectionKey);
        }
    } catch (Throwable t) {
        LOGGER.error("run() on SelectorThread exiting due to uncaught error", t);
    } finally {
        // 关闭
        selector.close();
        TThreadedSelectorServer.this.stop();
    }
}
  • org.apache.thrift.server.TThreadedSelectorServer.SelectorThread#select

处理 IO 事件,根据事件类型分别处理读取或者写入

private void select() {
    try {
        // 获取事件
        doSelect();

        Iterator<SelectionKey> selectedKeys = selector.selectedKeys().iterator();
        while (!stopped_ && selectedKeys.hasNext()) {
            SelectionKey key = selectedKeys.next();
            selectedKeys.remove();

            // 如果无效则跳过
            if (!key.isValid()) {
                cleanupSelectionKey(key);
                continue;
            }

            if (key.isReadable()) {
                // 如果是读取则处理读取事件
                handleRead(key);
            } else if (key.isWritable()) {
                // 如果是写入则处理写入
                handleWrite(key);
            } else {
                LOGGER.warn("Unexpected state in select! " + key.interestOps());
            }
        }
    } catch (IOException e) {
        LOGGER.warn("Got an IOException while selecting!", e);
    }
}

处理读取事件

  • org.apache.thrift.server.AbstractNonblockingServer.AbstractSelectThread#handleRead

在处理读取事件时,会读取整个帧,当完全读取时,会调用 requestInvoke 方法,通过线程池处理请求

protected void handleRead(SelectionKey key) {
    // 获取帧
    FrameBuffer buffer = (FrameBuffer) key.attachment();
    // 如果没有可读取的,则清理
    if (!buffer.read()) {
        cleanupSelectionKey(key);
        return;
    }
    // if the buffer's frame read is complete, invoke the method.
    // 如果 buffer 完全读取,则执行处理,如果失败则清理
    if (buffer.isFrameFullyRead()) {
        if (!requestInvoke(buffer)) {
            cleanupSelectionKey(key);
        }
    }
}
  • org.apache.thrift.server.TThreadedSelectorServer#requestInvoke

处理调用,会将帧封装为 Runnable 任务,提交给线程池执行

protected boolean requestInvoke(FrameBuffer frameBuffer) {
    // 封装为 Runnable
    Runnable invocation = getRunnable(frameBuffer);
    if (invoker != null) {
        try {
            // 执行处理
            invoker.execute(invocation);
            return true;
        } catch (RejectedExecutionException rx) {
            LOGGER.warn("ExecutorService rejected execution!", rx);
            return false;
        }
    } else {
        // Invoke on the caller's thread
        // 如果没有线程池,由当前线程直接处理
        invocation.run();
        return true;
    }
}

处理写入事件

  • org.apache.thrift.server.AbstractNonblockingServer.AbstractSelectThread#handleWrite

处理写入事件,调用 FrameBuffer 的写入方法进行处理

protected void handleWrite(SelectionKey key) {
    FrameBuffer buffer = (FrameBuffer) key.attachment();
    if (!buffer.write()) {
        cleanupSelectionKey(key);
    }
}
  • org.apache.thrift.server.AbstractNonblockingServer.FrameBuffer#write

由 Transport 执行写入,最终由 SocketChannel 执行,将响应内容发送给客户端

public boolean write() {
    if (state_ == FrameBufferState.WRITING) {
        // 写入
        if (trans_.write(buffer_) < 0) {
            return false;
        }

        // 如果没有待写入的,则切换到读取
        if (buffer_.remaining() == 0) {
            prepareRead();
        }
        return true;
    }
    return false;
}

4. 执行请求

  • org.apache.thrift.server.AbstractNonblockingServer.FrameBuffer#invoke

在处理读取事件时,会将 FrameBuffer 包装为 Runnable,提交给线程池执行;最终由 FrameBuffer处理
会获取 Processor,然后调用 process 方法进行处理

public void invoke() {
    frameTrans_.reset(buffer_.array());
    response_.reset();

    try {
        // 如果有事件处理器,则触发
        if (eventHandler_ != null) {
            eventHandler_.processContext(context_, inTrans_, outTrans_);
        }
        // 获取处理器,调用处理方法
        processorFactory_.getProcessor(inTrans_).process(inProt_, outProt_);
        responseReady();
        return;
    } catch (TException te) {
    }
    // This will only be reached when there is a throwable.
    state_ = FrameBufferState.AWAITING_CLOSE;
    requestSelectInterestChange();
}
  • org.apache.thrift.TBaseProcessor#process

在处理时,根据方法名获取具体的处理函数,然后调用响应的处理方法进行处理

public void process(TProtocol in, TProtocol out) throws TException {
  TMessage msg = in.readMessageBegin();
  ProcessFunction fn = processMap.get(msg.name);
  if (fn == null) {
    TProtocolUtil.skip(in, TType.STRUCT);
    in.readMessageEnd();
    TApplicationException x = new TApplicationException(TApplicationException.UNKNOWN_METHOD, "Invalid method name: '"+msg.name+"'");
    out.writeMessageBegin(new TMessage(msg.name, TMessageType.EXCEPTION, msg.seqid));
    x.write(out);
    out.writeMessageEnd();
    out.getTransport().flush();
  } else {
    fn.process(msg.seqid, in, out, iface);
  }
}
  • org.apache.thrift.ProcessFunction#process

读取请求信息,反序列化为对象,然后调用 getResult 方法执行实现逻辑,获取响应;如果不是 oneway 的请求,则将相应结果写入流中,发送给客户端

public final void process(int seqid,
                          TProtocol iprot,
                          TProtocol oprot,
                          I iface) throws TException {

    // 获取空参数实例
    T args = getEmptyArgsInstance();
    // 读取
    args.read(iprot);
    iprot.readMessageEnd();
    TSerializable result = null;
    byte msgType = TMessageType.REPLY;
    // 获取结果
    result = getResult(iface, args);

    // 如果不是 oneway 的,则写入响应结果
    if (!isOneway()) {
        oprot.writeMessageBegin(new TMessage(getMethodName(), msgType, seqid));
        result.write(oprot);
        oprot.writeMessageEnd();
        oprot.getTransport().flush();
    }
}
  • io.github.helloworlde.thrift.HelloService.Processor.sayHello#getResult

由生成的代码处理,会先构建一个响应结构体,然后调用相应的方法进行处理,返回结果

public sayHello_result getResult(I iface, sayHello_args args) throws org.apache.thrift.TException {
  sayHello_result result = new sayHello_result();
  result.success = iface.sayHello(args.request);
  return result;
}
  • io.github.helloworlde.thrift.HelloServiceImpl#sayHello

具体的逻辑处理,返回响应

public HelloResponse sayHello(HelloMessage request) throws TException {
    String message = request.getMessage();
    HelloResponse response = new HelloResponse();
    response.setMessage("Hello " + message);
    return response;
}

4. 写入响应

  • org.apache.thrift.ProcessFunction#process

在处理完请求之后,会判断是否是 oneway 请求,如果不是,则会执行写入响应

if(!isOneway()) {
  oprot.writeMessageBegin(new TMessage(getMethodName(), msgType, seqid));
  result.write(oprot);
  oprot.writeMessageEnd();
  oprot.getTransport().flush();
}
  • org.apache.thrift.protocol.TBinaryProtocol#writeMessageBegin

写入响应时,会先写入响应头;会将版本信息,消息类型,方法的名称和请求 ID 一起写入

public void writeMessageBegin(TMessage message) throws TException {
  if (strictWrite_) {
    int version = VERSION_1 | message.type;
    writeI32(version);
    writeString(message.name);
    writeI32(message.seqid);
  } else {
    writeString(message.name);
    writeByte(message.type);
    writeI32(message.seqid);
  }
}
  • io.github.helloworlde.thrift.HelloResponse.HelloResponseStandardScheme#write

随后写入响应内容,将对象序列化为字节

public void write(org.apache.thrift.protocol.TProtocol oprot, HelloResponse struct) throws org.apache.thrift.TException {
  struct.validate();

  oprot.writeStructBegin(STRUCT_DESC);
  if (struct.message != null) {
    oprot.writeFieldBegin(MESSAGE_FIELD_DESC);
    oprot.writeString(struct.message);
    oprot.writeFieldEnd();
  }
  oprot.writeFieldStop();
  oprot.writeStructEnd();
}

然后会写入响应结尾符,由 SelectorThread 处理写入事件,最终将请求发送给客户端

参考文档

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
相关推荐
DirectX修复工具(DirectX Repair)是一款系统级工具软件,简便易用。本程序为绿色版,无需安装,可直接运行。 本程序的主要功能是检测当前系统的DirectX状态,如果发现异常则进行修复。程序主要针对0xc000007b问题设计,可以完美修复该问题。本程序中包含了最新版的DirectX redist(Jun2010),并且全部DX文件都有Microsoft的数字签名,安全放心。 本程序为了应对一般电脑用户的使用,采用了易用的一键式设计,只要点击主界面上的“检测并修复”按钮,程序就会自动完成校验、检测、下载、修复以及注册的全部功能,无需用户的介入,大大降低了使用难度。在常规修复过程中,程序还会自动检测DirectX加速状态,在异常时给予用户相应提示。 本程序适用于多个操作系统,如Windows XP(需先安装.NET 2.0,详情请参阅“致Windows XP用户.txt”文件)、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 8.1 Update、Windows 10,同时兼容32位操作系统和64位操作系统。本程序会根据系统的不同,自动调整任务模式,无需用户进行设置。 本程序的V4.0版分为标准版、增强版以及在线修复版。所有版本都支持修复DirectX的功能,而增强版则额外支持修复c++的功能。在线修复版功能与标准版相同,但其所需的数据包需要在修复时自动下载。各个版本之间,主程序完全相同,只是其配套使用的数据包不同。因此,标准版和在线修复版可以通过补全扩展包的形式成为增强版。本程序自V3.5版起,自带扩展功能。只要在主界面的“工具”菜单下打开“选项”对话框,找到“扩展”标签,点击其中的“开始扩展”按钮即可。扩展过程需要Internet连接,扩展成功后新的数据包可自动生效。扩展用时根据网络速度不同而不同,最快仅需数秒,最慢需要数分钟,烦请耐心等待。如扩展失败,可点击“扩展”界面左上角小锁图标切换为加密连接,即可很大程度上避免因防火墙或其他原因导致的连接失败。 本程序自V2.0版起采用全新的底层程序架构,使用了异步多线程编程技术,使得检测、下载、修复单独进行,互不干扰,快速如飞。新程序更改了自我校验方式,因此使用新版本的程序时不会再出现自我校验失败的错误;但并非取消自我校验,因此程序安全性与之前版本相同,并未降低。 程序有更新系统c++功能。由于绝大多数软件运行时需要c++的支持,并且c++的异常也会导致0xc000007b错误,因此程序在检测修复的同时,也会根据需要更新系统中的c++组件。自V3.2版本开始使用了全新的c++扩展包,可以大幅提高工业软件修复成功的概率。修复c++的功能仅限于增强版,标准版及在线修复版在系统c++异常时(非丢失时)会提示用户使用增强版进行修复。除常规修复外,新版程序还支持C++强力修复功能。当常规修复无效时,可以到本程序的选项界面内开启强力修复功能,可大幅提高修复成功率。请注意,请仅在常规修复无效时再使用此功能。 程序有两种窗口样式。正常模式即默认样式,适合绝大多数用户使用。另有一种简约模式,此时窗口将只显示最基本的内容,修复会自动进行,修复完成10秒钟后会自动退出。该窗口样式可以使修复工作变得更加简单快速,同时方便其他软件、游戏将本程序内嵌,即可进行无需人工参与的快速修复。开启简约模式的方法是:打开程序所在目录下的“Settings.ini”文件(如果没有可以自己创建),将其中的“FormStyle”一项的值改为“Simple”并保存即可。 新版程序支持命令行运行模式。在命令行中调用本程序,可以在路径后直接添加命令进行相应的设置。常见的命令有7类,分别是设置语言的命令、设置窗口模式的命令,设置安全级别的命令、开启强力修复的命令、设置c++修复模式的命令、控制Direct加速的命令、显示版权信息的命令。具体命令名称可以通过“/help”或“/?”进行查询。 程序有高级筛选功能,开启该功能后用户可以自主选择要修复的文件,避免了其他不必要的修复工作。同时,也支持通过文件进行辅助筛选,只要在程序目录下建立“Filter.dat”文件,其中的每一行写一个需要修复文件的序号即可。该功能仅针对高级用户使用,并且必须在正常窗口模式下才有效(简约模式时无效)。 本程序有自动记录日志功能,可以记录每一次检测修复结果,方便在出现问题时,及时分析和查找原因,以便找到解决办法。 程序的“选项”对话框中包含了7项高级功能。点击"常规”选项卡可以调整程序的基本运行情况,包括日志记录、安全级别控制、调试模式开启等。只有开启调试模式后才能在C
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页

打赏

呜呜呜啦啦啦

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值