13.5 基于飞桨AIStudio的ChatGLM对话系统
飞桨AI Studio是面向AI学习者的人工智能学习与实训社区,社区集成了丰富的免费AI课程,深度学习样例项目,各领域经典数据集,云端超强GPU算力及存储资源。在本项目的“paddlepaddle”目录中,将预训练模型ChatGLM-6B部署在了飞桨AI Studio,利用PaddleNLP 进行文本嵌入和处理,以及与飞桨 AI Studio 集成,实现了一个基于本地知识的自动问答应用。
13.5.1 基于PaddleNLP的聊天语言模型(LLM)
文件chatllm.py实现了一个基于PaddleNLP的文本生成任务的聊天语言模型(LLM),利用PaddleNLP提供的任务流框架来实现聊天任务,具有简洁的实现和易于使用的特点。
from typing import Dict, List, Optional, Tuple, Union
from langchain.llms.base import LLM
from langchain.llms.utils import enforce_s