山东大学软件学院创新实训周报2（4.15~4.21）

山东大学软件学院创新实训周报2（4.15~4.21）

本周大模型组实操并验证了技术可行性，便于开展后续的开发工作。

ModelScope 魔搭社区部署并训练模型

起初大模型组准备使用魔搭社区的一键部署和一键训练服务，简化开发难度。

成功将ChatGLM3部署，这里对部署过程不再赘述。

但在后续尝试使用一键训练的服务时出了问题。小组成员在上传供以训练的数据集后，在已经交清欠费的情况下仍被提示含有欠费账单。另一位小组成员成功训练后发现有点超出经济承受范围，遂放弃。

ChatGLM3本地部署

其实是通过ssh连接远程Linux服务器的部署

通过按照官网的提示和查阅相关资料后，成功配置好了ChatGLM3的环境，完成本地部署。

同时测试了ChatGLM3的API调用方式，通过运行openai_api_demo下的api_server.py进行部署

cd openai_api_demo
python api_server.py

新建了一个项目进行api调用测试。model_name输入chatglm3-6b。最终发现使用成功，为VR组调用大模型提供了api保障。

融合外接知识库以增强ChatGLM3-6B的问答能力

知识库可以分为多种类型，包括知识图谱、文本数据库等。不同类型的知识库各有优缺点：

• 知识图谱：通过节点和边的结构化形式表示实体及其关系，适合处理复杂的关系和推理任务。知识图谱能够捕捉上下文关系和多跳推理，是增强LLM的理想选择。

• 文本数据库：存储大规模的未结构化文本，适用于简单的信息检索任务，但在处理复杂推理时可能表现欠佳。

知识图谱在提供结构化信息和上下文理解方面具有明显优势，使其成为增强问答系统的首选。