ChatGLM-6B之SSE通信（Server-sent Events）

写这篇博客还是很激动开心的，因为是我经过两周的时间，查阅各个地方的资料，经过不断的代码修改，不断的上传到有显卡的服务器运行才得出的可行的接口调用解决方案，在这里记录并分享一下。

研究历程（只是感受，不感兴趣的这段可以跳过，直接看下边的正题，找“正题”二字）

         起初领导让我写一个接口——前端传递用户问题，后端返回ChatGLM模型生成的问题的答案。这个工作太简单了，因为GitHub上ChatGLM-6B根目录的api.py已经实现了，我只需改一个模型路径、端口号启动即可，我默默地更新了代码然后修改后启动运行了，然后摸了三天鱼，三天后和领导说完成了，深藏功与名。领导高兴地拿着我的接口文档就给其他部门的同事用了，结果没几天，同事就反馈说，这接口是http请求啊，前端一请求，后端带着问题去送入模型，这模型生成还需要时间，等完全生成了，服务端再返给前端，这期间用户一直等待，还没等返回结果，用户早生气的买套壳ChatGPT公司的服务了，谁还用你的ChatGLM？我当然知道接口慢了，而且返回时间和生成的文本长度成正比，这怎么办？用websocket？双向通信？这接口是python写的，我再研究一下python的websocket怎么写？当初干java一看websocket的代码就劝退——又臭又长，导致我现在都不会ws，所以我现学一下吗？不，不可能，我对ws过敏，我查了查ChatGPT是如何实现的，网上说是用SSE（Server-sent Events）实现的，我还问了一下ChatGPT，结果他嘴硬，说没有。。。

无语~，我用postman调了一下ChatGPT的api，发现返回的数据德行如下：

data: {
   "id":"cmpl-7Jy6ml72P6prTUU5mmtMGUsWBOgNY","object":"text_completion","created":1684993644,"choices":[{
   "text":"新","index":0,"logprobs":null,"finish_reason":null}],"model":"text-davinci-003"}
data: {
   "id":"cmpl-7Jy6ml72P6prTUU5mmtMGUsWBOgNY","object":"text_completion","created":1684993644,"choices":[{
   "text":"能","index":0,"logprobs":null,"finish_reason":null}],"model":"text-davinci-003"}
data: {
   "id":"cmpl-7Jy6ml72P6prTUU5mmtMGUsWBOgNY","object":"text_completion","created":1684993644,"choices":[{
   "text":"源","index":0,"logprobs":null,"finish_reason":null}],"model":"text-davinci-003"}
...<省略若干数据>
data: {
   "id":"cmpl-7Jy6ml72P6prTUU5mmtMGUsWBOgNY","object":"text_completion","created":1684993644,"choices":[{
   "text":"节","index":0,"logprobs":null,"finish_reason":null}],"model":"text-davinci-003"}
data: {
   "id":"cmpl-7Jy6ml72P6prTUU5mmtMGUsWBOgNY","object":"text_completion","created":1684993644,"choices":[{
   "text":"能"