tornado线程阻塞的解决(1)，算法题+Golang

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Golang全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注go）

正文

class SleepHandler(tornado.web.RequestHandler):

@tornado.web.asynchronous

def get(self):

tornado.ioloop.IOLoop.instance().add_timeout(time.time() + 5, callback=self.on_response)

def on_response(self):

self.write(“when i sleep 5s”)

self.finish()

使用了callback, 但是新的装饰器让我们通过yield实现同样的效果:你在打开/sleep之后再点击/justnow， justnow的请求都是立刻返回不受影响.但是用了asynchronous的装饰器你的耗时的函数也需要执行异步

刚才说的都是没有意义的例子，下面写个有点用的:读取mongodb数据库数据，然后再前端按行write出来

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.gen

import tornado.httpclient

import tornado.concurrent

import tornado.ioloop

import time

一个mongodb出品的支持异步的数据库的python驱动

import motor

from tornado.options import define, options

define(“port”, default=8000, help=“run on the given port”, type=int)

db其实就是test数据库的游标

db = motor.MotorClient().open_sync().test

class SleepHandler(BaseHandler):

@tornado.web.asynchronous

@tornado.gen.coroutine

def get(self):

这一行执行还是阻塞需要时间的，我的tt集合有一些数据并且没有索引

cursor = db.tt.find().sort([(‘a’, -1)])

这部分会异步非阻塞的执行二不影响其他页面请求

while (yield cursor.fetch_next):

message = cursor.next_object()

self.write(‘

• %s
• ’ % message[‘a’])

  self.write(‘’)

  self.finish()

  def _on_response(self, message, error):

  if error:

  raise tornado.web.HTTPError(500, error)

  elif message:

  for i in message:

  self.write(‘

• %s
• ’ % i[‘a’])

  else:

  self.write(‘’)

  self.finish()

  class JustNowHandler(BaseHandler):

  def get(self):

  self.write(“i hope just now see you”)

  if name == “main”:

  tornado.options.parse_command_line()

  app = tornado.web.Application(handlers=[

  (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

  http_server = tornado.httpserver.HTTPServer(app)

  http_server.listen(options.port)

  tornado.ioloop.IOLoop.instance().start()

  一个同事提示为什么这个耗时的东西不能异步的丢给某工具去执行而不阻塞我的请求呢?好吧，我也想到了:celery，正好github有这个东西:tornado-celery

  执行下面的程序首先你要安装rabbitmq和celery:

  #!/bin/env python

  import tornado.httpserver

  import tornado.ioloop

  import tornado.options

  import tornado.web

  import tornado.gen

  import tornado.httpclient

  import tcelery, tasks

  import time

  from tornado.options import define, options

  define(“port”, default=8000, help=“run on the given port”, type=int)

  tcelery.setup_nonblocking_producer()

  class SleepHandler(tornado.web.RequestHandler):

  @tornado.web.asynchronous

  @tornado.gen.coroutine

  def get(self):

  tornado.gen.Task的参数是:要执行的函数, 参数

  yield tornado.gen.Task(tasks.sleep.apply_async, args=[5])

  self.write(“when i sleep 5s”)

  self.finish()

  class JustNowHandler(tornado.web.RequestHandler):

  def get(self):

  self.write(“i hope just now see you”)

  if name == “main”:

  tornado.options.parse_command_line()

  app = tornado.web.Application(handlers=[

  (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

  http_server = tornado.httpserver.HTTPServer(app)

  http_server.listen(options.port)

  tornado.ioloop.IOLoop.instance().start()

  task是celery的任务定义的文件，包含我们说的time.sleep的函数

  import time

  from celery import Celery

  celery = Celery(“tasks”, broker=“amqp://guest:guest@localhost:5672”)

  celery.conf.CELERY_RESULT_BACKEND = “amqp”

  @celery.task

  def sleep(seconds):

  time.sleep(float(seconds))

  return seconds

  if name == “main”:

  celery.start()

  然后启动celelry worker(要不然你的任务怎么执行呢?肯定需要一个消费者取走):

  celery -A tasks worker --loglevel=info

  但是这里的问题也可能很严重:我们的异步非阻塞依赖于celery,还是这个队列的长度,假如任务很多那么就需要等待,效率很低.有没有一种办法把我的同步阻塞函数变为异步(或者说被tornado的装饰器理解和识别)呢?

  #!/bin/env python

  import tornado.httpserver

  import tornado.ioloop

  import tornado.options

  import tornado.web

  import tornado.httpclient

  import tornado.gen

  from tornado.concurrent import run_on_executor

  这个并发库在python3自带在python2需要安装sudo pip install futures

  from concurrent.futures import ThreadPoolExecutor

  import time

  from tornado.options import define, options

  define(“port”, default=8000, help=“run on the given port”, type=int)

  class SleepHandler(tornado.web.RequestHandler):

  executor = ThreadPoolExecutor(2)

  #executor 是局部变量 不是全局的

  @tornado.web.asynchronous

  @tornado.gen.coroutine

  def get(self):

  假如你执行的异步会返回值被继续调用可以这样(只是为了演示),否则直接yield就行

  res = yield self.sleep()

  self.write(“when i sleep %s s” % res)

  self.finish()

  @run_on_executor

  def sleep(self):

  time.sleep(5)

  return 5

  网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

  需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Go）
  

  一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
  xecutor

  def sleep(self):

  time.sleep(5)

  return 5

  网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

  需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Go）
  [外链图片转存中…(img-kZVuiujS-1713418701277)]

  一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！