书生·浦语(InternLM)-大模型实战营-春节课程-作业3

书生浦语项目首页:https://github.com/InternLM/InternLM
训练营课程首页：https://github.com/internLM/tutorial?tab=readme-ov-file
b站视频首页：OpenMMLab的个人空间-OpenMMLab个人主页-哔哩哔哩视频
课程简介（个人认知）：介绍书生浦语开源平台体系，教会使用平台

本节课手册：https://github.com/InternLM/tutorial/blob/main/langchain/readme.md

基础作业：

复现课程知识库助手搭建过程 (截图)

进阶作业：

选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署（截图，并提供应用地址）

​

--------------------------------------------------------------------------------------

基础作业 复现课程知识库助手搭建过程

web平台：InternStudio

一、搭建环境

1.1 创建开发机

​

​

1.2 搭建conda环境

此处感觉可以不按课程内容创建新conda环境，而是复用上节课已创建的环境：

​

​

​

1.3 下载sentencepiece数据

下载sentencepiece模型数据

​

1.4 下载nltk数据

视频中的wget好像不太行，wget无响应很久

​从gitee clone还挺快

​

解压taggers中averaged_perceptron_tagger和tokenizers里punkt

​

1.5. 下载项目代码---知识库内容

作为知识库内容

二、知识库搭建

2.1 加载数据

递归读，只要txt和md文件，返回目标文件列表。

加载后的知识库以向量形式保存在磁盘上

顺序完成教程中的 实例化自定义 LLM 与 Prompt Template、构建检索问答链、gradio的web_demo

python启动，绑ssh_key，用powershell做ssh端口映射

成功！