【LLM】动手部署个人知识库助手

动手部署个人知识库助手

经过前面章节的学习，理解了LLM、向量知识库等知识，本章节开始实践部署个人知识库助手。

本次部署的项目github地址个人知识库助手项目

环境依赖

• 技术资源要求
  CPU: Intel 5代处理器（云CPU方面，建议选择 2 核以上的云CPU服务）

内存（RAM）: 至少 4 GB

操作系统：Windows、macOS、Linux均可

• 项目设置
  克隆储存库

    git clone https://github.com/logan-zou/Chat_with_Datawhale_langchain.git
    cd Chat_with_Datawhale_langchain
  

• 创建 Conda 环境并安装依赖项

python>=3.9
pytorch>=2.0.0

• 创建 Conda 环境

conda create -n llm-universe python==3.9.0

• 激活 Conda 环境

conda activate llm-universe

• 安装依赖项

pip install -r requirements.txt

项目运行

启动服务为本地 API

• Linux 系统

cd project/serve
	uvicorn api:app --reload 

• Windows 系统

cd project/serve
python api.py

运行项目

cd llm-universe/project/serve
python run_gradio.py -model_name='chatglm_std' -embedding_model='m3e' -db_path='../../data_base/knowledge_db' -persist_path='../../data_base/vector_db'

总结

本次学习了本地部署个人知识库助手，掌握使用fastapi进行接口定义，提供后端接口服务能力。掌握使用embbing接口对文本进行向量化处理，随后使用chromadb保存向量数据。
在文本预处理过程中有一点是值得我学习的：使用remove_urls() 函数过滤了 readme 文本中的一些网页链接以及过滤了可能引起大模型风控一些词汇。这样做的目的可以让部署的个人知识助手更加安全。在此延伸了对数据脱敏的思路，后续数据处理流程增加了处理数据安全问题这一维度。
在此我打算开发一个钢琴知识助手，可以提供钢琴相关知识的问答交流能力，并且加入OCR识别技术识别钢琴谱子，加入逻辑推理能力，可以自动编指法，今晚逛了下github发现有开源的项目pianoplayer，让我瞅瞅👀希望不要鸽了
本次LLM学习的最后一次打卡啦，感谢DataWhale提供了学习平台，感谢助教们的辛勤付出，感谢一起打卡的各位佬，我们下次再会～