大模型学习路线之入门项目推荐

目录

前言

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

2. 导入依赖库、导入model & processor

3. 导入图片链接

4. 图生文

5. 图片内容推理

二、LLM——基于文心大模型的金融知识库问答（进阶级）

0. 环境配置

1. 载入本地非结构化文档

2. 文档split为若干chunk文本块

3. 文本Embedding–>Vectors

4. 存入向量数据库（以FAISS为例，常见向量数据库还有Milvus）

5. Query查询（用户提问）

6. Prompt合成

7. 调用LLM模型，实现答案生成任务（以文心大模型为例）

8. RAG流程封装（将提示词Prompt输入给文心大模型，获得输出结果）

三、推荐项目（综合级）

---

前言

​ 依托 aistudio 平台内容，章节一呈现了一个入门级demo（小白友好），以VisualGLM（多模型大模型）为例实现了图生文；章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；章节三推荐了数个综合级、系统化的项目（适合从事/预从事 LLM/AIGC 岗的人群食用），把每个项目深挖吃透后，基本可以从事相关岗。

---

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

用git命令从github上下载visualglm-6b模型到本地，git PaddleMIX安装包、pip其它相关依赖包。

!git clone http://git.aistudio.baidu.com/aistudio/visualglm-6b.git



!git clone https://github.com/PaddlePaddle/PaddleMIX



!pip install soundfile librosa

2. 导入依赖库、导入model & processor

import os



os.environ["CUDA_VISIBLE_DEVICES"] = "0"



os.environ["FLAGS_use_cuda_managed_memory"] = "true"



 



import requests



from PIL import Image



from PaddleMIX.paddlemix import VisualGLMForConditionalGeneration, VisualGLMProcessor



import warnings



warnings.filterwarnings('ignore')



 



 



# 设置visualglm-6b预训练模型的本地路径（PS：本地导入比直接云端下载速度会快很多）



pretrained_name_or_path = "aistudio/visualglm-6b"



model = VisualGLMForConditionalGeneration.from_pretrained(pretrained_name_or_path, from_aistudio=True,dtype="float32")



model.eval()



processor = VisualGLMProcessor.from_pretrained(pretrained_name_or_path,from_aistudio=True)

3. 导入图片链接

# 图片链接



# url = "https://paddlenlp.bj.bcebos.com/data/images/mugs.png"



url = 'https://i02piccdn.sogoucdn.com/5dd40dedd7107cc5'



image = Image.open(requests.get(url, stream=True).raw)



 



# 配置模型参数



generate_kwargs