Python Websocket 服务器中处理长时间任务与配置变更

我们需要在 Python 中使用 Tornado 建立一个 Websocket 服务器，以便在一个 Websocket 连接中处理长时间的任务，并在任务运行中根据接收到的消息动态切换操作或取消任务。以下示例代码展示了基本的 Websocket 处理器：

import tornado.websocket
import tornado.ioloop

class WSHandler(tornado.websocket.WebSocketHandler):
    def open(self):
        print('new connection')
        self.write_message("Hello World")

    def on_message(self, message):
        # unpack message
        command = message[:2]
        taskid = message[2:4]
        print('some message')
        if command == '00':
            # starting task with id = 1 which will take over 1 hour or more
            task.start()  # it will take more than 1 hour!
        elif command == '01':
            # cancel task with id = 1
            task.stop()
        elif command == 'SomeOtherOptionsINeedToHandle':
            # Do the others
            task.internal_loop.change_configuration

    def on_close(self):
        print('connection closed')

if __name__ == "__main__":
    app = tornado.web.Application([(r"/", WSHandler)])
    app.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

在这个示例中，当接收到 Websocket 消息时，我们根据消息指令启动或取消任务，或者修改任务配置。然而，当任务需要花费很长时间（例如一个小时）才能完成时，Websocket 连接会一直保持打开状态，直到任务完成。这可能会导致问题，因为 Websocket 连接可能会在任务完成之前超时或断开。

2、解决方案

为了解决这个问题，我们可以使用一种消息队列系统来处理长时间的任务。当接收到 Websocket 消息时，我们将任务信息放入消息队列中，然后立即返回响应。这样，Websocket 连接可以立即关闭，而任务将在后台继续执行。当任务完成后，我们可以通过 Websocket 再次向客户端发送消息，通知任务已完成或提供任务结果。

像 Celery 和 RabbitMQ 这样的消息队列系统可以帮助我们轻松实现这种异步任务处理。它们允许我们创建一个任务队列，并将任务放入队列中，然后由工作人员进程处理这些任务。当任务完成时，工作人员进程会将结果放入另一个队列中，以便客户端可以检索结果。

以下示例代码展示了如何使用 Celery 和 RabbitMQ 来处理长时间的任务：

from celery import Celery
from celery.result import AsyncResult

app = Celery('tasks', broker='amqp://localhost//')

@app.task
def long_running_task(task_id):
    # simulate a long-running task
    for i in range(1000000):
        pass
    return 'Task {} completed!'.format(task_id)

if __name__ == "__main__":
    task_result = long_running_task.delay(1)

    while not task_result.ready():
        # wait for the task to complete
        pass

    result = task_result.get()
    print(result)

在这个示例中，我们创建了一个名为 long_running_task 的 Celery 任务，该任务可以模拟一个长时间运行的任务。当我们调用 long_running_task.delay(1) 时，它会将任务放入 Celery 队列中，并返回一个 AsyncResult 对象。我们可以使用这个对象来检查任务的状态，并在任务完成后获取结果。

在 Websocket 服务器中，我们可以使用 Celery 来处理长时间的任务。当接收到 Websocket 消息时，我们可以将任务信息放入 Celery 队列中，然后立即返回响应。当任务完成后，我们可以通过 Websocket 再次向客户端发送消息，通知任务已完成或提供任务结果。

通过使用消息队列系统来处理长时间的任务，我们可以避免 Websocket 连接被长时间阻塞，并提高服务器的并发性。