L1-InternLM + LlamaIndex RAG 实践

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力

环境、模型准备

需要使用 30% A100 * 1

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力

LlamaIndex HuggingFaceLLM

RAG之前会的效果不好，无法准确说明什么是xtuner

 LlamaIndex RAG

获取关于xtuner的知识库

git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./

### 微调

XTuner 支持微调大语言模型。数据集预处理指南请查阅[文档](./docs/zh_cn/user_guides/dataset_prepare.md)。

- **步骤 0**，准备配置文件。XTuner 提供多个开箱即用的配置文件，用户可以通过下列命令查看：

  ```shell

  xtuner list-cfg

  ```

  或者，如果所提供的配置文件不能满足使用需求，请导出所提供的配置文件并进行相应更改：

  ```shell

  xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}

  vi ${SAVE_PATH}/${CONFIG_NAME}_copy.py

  ```

- **步骤 1**，开始微调。

  ```shell

  xtuner train ${CONFIG_NAME_OR_PATH}

  ```

  例如，我们可以利用 QLoRA 算法在 oasst1 数据集上微调 InternLM2.5-Chat-7B：

  ```shell

  # 单卡

  xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2

  # 多卡

  (DIST) NPROC_PER_NODE=${GPU_NUM} xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2

  (SLURM) srun ${SRUN_ARGS} xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --launcher slurm --deepspeed deepspeed_zero2

  ```

  - `--deepspeed` 表示使用 [DeepSpeed](https://github.com/microsoft/DeepSpeed) 🚀 来优化训练过程。XTuner 内置了多种策略，包括 ZeRO-1、ZeRO-2、ZeRO-3 等。如果用户期望关闭此功能，请直接移除此参数。

  - 更多示例，请查阅[文档](./docs/zh_cn/user_guides/finetune.md)。

- **步骤 2**，将保存的 PTH 模型（如果使用的DeepSpeed，则将会是一个文件夹）转换为 HuggingFace 模型：

  ```shell

  xtuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH} ${SAVE_PATH}

  ```

新建llamaindex_RAG.py后运行，可以准确回答xtuner是什么的问题，如下：

RAG技术后，就能获得我们想要的答案了

LlamaIndex web

安装依赖，新建app.py运行后如下：

打开localhost，即可在网页中进行对话：