2024创新实训04

2024创新实训04

前言

这一次我们实现了通义千问模型在服务器上的部署，由于我之前尝试过在自己的机器上部署chatglm3的模型，感觉效果不是很好，模型的准确度和回答的流畅度都不高，所以我们想租用服务器来部署模型，以获得更好地用户体验，这里我们选择在autodl上租用服务器。

后端框架搭建

一、部署模型

首先我们租用合适的服务器，阅读github上通义千问的readme文件后，我们选择合适的环境进行部署，成功租用后进入jupyter环境，按步骤下载模型，即可成功部署。

二、api调用

但是通义千问官方提供的api调用的py文件是无法直接实现流式输出的，由于前端还没有设计好，我们在这里利用postman进行测试的时候发现接收到的消息并不是流式输出的。这里我由于还不是很清楚中间件的实现原理，不太明白为什么输出不是按着我预想的输出。阅读源码后，我发现他传回的是一个迭代器，通过yield持续往前端发送消息，但是前端仍然是一气收到所有信息，目前还没有解决这个问题。

前端框架搭建

前端功能此周未开发

下周工作计划

论坛功能的开发：论坛首页需要能查看到所有的帖子，用户需要有发帖子的页面（需要集成富文本插件），可能会划分管理员和用户角色从而进行论坛管理。

智能对话前后端开发：实现对话的流式输出

学习路线前端开发：完成学习路线的填充和题目页面的设计