tornado的协程、多线程、多进程实例

tornado并发介绍

tornado处理请求是单线程的，如果所有操作都在这个线程做，qps就受限于你的业务复杂性。业务比较复杂时可以起协程去做一些耗时的操作，主线程处理一些简单操作。需要注意的是起的协程不宜过多，协程过多，上下文切换的开销就过大，得不偿失；如果真有这么多，那就应该起多进程去处理这些请求。

协程加多线程实现异步

   #耗时的事务函数
   @tornado.gen.coroutine
   def embedding(sentence):
        do something
        raise Return(your result)
         
   #线程池
   thread_pool = ThreadPoolExecutor(4)
   
   #handler的请求处理函数
   @tornado.gen.coroutine
   def get(self):
       query = self.get_argument('sentence', default='', strip=True)
       result = thread_pool.submit(embedding, ([query]))
       s = yield result
       self.write("%s" % (s))

@tornado.gen.coroutine表示可以协程去运行这个函数，调用协程的函数必须是可以协程调用的，thread_pool.submit表示提交一个任务到线程池，会立即返回一个future对象，yield result会等待这个future对象完成，但是由于是协程的方式执行，这个地方并不会阻塞，主线程会保存上下文，处理其他请求，等result这个future对象执行完毕再切换回来执行后面的代码，感兴趣可以去看future实现。

多进程误区

1. centOS上http_server应该是bind，不要listen，参照官方文档https://www.tornadoweb.org/en/stable/httpserver.html
2. autoreload=False debug=False，多线程的必须这样设置，debug=True会让autoreload=True
3. 由于多进程是fork的，变量的初始化最好在fork之后，例如显卡资源先申请了，fork之后并不能多个进程共用。

完整代码如下：

#encoding=utf-8

import time
import tornado.web
import tornado.ioloop
import sys
import random
import tensorflow as tf
from bert_serving.client import ConcurrentBertClient
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
from tornado.gen import Return

bc = None
sess = None
output = None
thread_pool = None
input_op = None

#load_bert_embedding()

def init():
    global sess, output, input_op, thread_pool, bc
    saver = tf.train.import_meta_graph('cnn.final.meta')
    sess = tf.Session(config=tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True)))
    saver.restore(sess, tf.train.latest_checkpoint("test"))
    graph = tf.get_default_graph()
    input_op = graph.get_operation_by_name('Reshape_1').outputs[0]
    output = graph.get_operation_by_name('BiasAdd_1').outputs[0]
    bc = ConcurrentBertClient(port=5555, port_out=5556)
    thread_pool = ThreadPoolExecutor(4)

@tornado.gen.coroutine
def embedding(sentence):
    bert_embedding = bc.encode(sentence)
    feed_dict = {input_op.name: bert_embedding}
    emb = sess.run(output, feed_dict=feed_dict)
    raise Return(" ".join(map(str, list(emb[0]))))

class embeddingHandler(tornado.web.RequestHandler):

    @tornado.gen.coroutine
    def get(self):
        query = self.get_argument('sentence', default='', strip=True)
        if thread_pool is None:
            init()
        result = thread_pool.submit(embedding, ([query]))
        s = yield result
        s = yield s
        self.write("%s" % (s))
        self.finish()

if __name__ == "__main__":
   app = tornado.web.Application([(r'/get_embedding', embeddingHandler)], autoreload=False, debug=False)
   sockets = tornado.netutil.bind_sockets(8888)
   tornado.process.fork_processes(3)
   http_server = tornado.httpserver.HTTPServer(app)
   http_server.add_sockets(sockets)
   tornado.ioloop.IOLoop.current().start()