书生·浦语大模型全链路开源体系

补充：模型操作中的相关知识

1. conda ：一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系

部分命令详解

1、指定安装软件的版本（以fastqc为例）

在不指定版本的情况下，conda默认安装该软件的最新版，如果要安装旧的版本方法：

先看看有哪些可以安装的版本conda search fastqc

安装指定版本的软件

conda install fastqc=0.11.7

2、查看conda中已经安装的软件

conda list #查看当前环境下用conda安装的软件

conda list fast* # 查看符合正则表达式的软件

conda list -n base # 查看指定环境下用conda安装的软件

3、删除软件

conda remove fastqc # 删除该环境中的软件

conda remove -n rnaseq fastqc # 删除指定环境下的软件

4、升级软件

conda update fastqc #升级指定的软件

conda update conda #升级conda本身

2. InternStudio： 算力平台

3.Hugging Face： 模型下载工具

4. ModelScope： 模型下载工具

5. OpenXLab： 可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件。

6. LangChain： 一个帮助在应用程序中使用大型语言模型（LLM）的编程框架。

7.Sentence Transformer： 开源词向量模型

OpenCompass：面向大模型评测的一站式平台

IMDeploy：支持 TurboMind 和 Pytorch 两种推理后端。涵盖了 LLM 任务的全套轻量化、部署和服务解决方案的高效推理工具箱，TurboMind 是一款关于 LLM 推理的高效推理引擎，基于英伟达的 FasterTransformer 研发而成。它的主要功能包括：LLaMa 结构模型的支持，persistent batch 推理模式和可扩展的 KV 缓存管理器

XTuner：轻量级微调大语言模型的工具库

InternLM-XComposer：浦语·灵笔，基于书生·浦语大语言模型研发的视觉-语言大模型

Lagent：一个轻量级、开源的基于大语言模型的智能体（agent）框架

InternLM：一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖

Tensor并行：简单来说，就是把一个大的张量（参数）分到多张卡上，分别计算各部分的结果，然后再同步汇总。

Gradio (opens new window) : 一个简单直观的交互界面的SDK组件，支持多种输入输出格式。只需要在原有程序中新增几行代码，便可快速构建交互式的机器学习模型，将已有的算法模型以 Web 服务形式呈现给用户。