使用LLaMA-Factory进行模型量化 以下实验基于微调后模型进行量化。针对基座模型的直接量化，可以使用与部署中使用的数据类型紧密匹配的校准数据作为校准数据集量化（任意数据集）该部分可以参考使用llm-compressor。
LLaMA-Factory多机多卡训练 为了在多机多卡环境下训练大模型，我们可以使用。它支持多种常见模型，集成了包括（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等训练方法，并且有web-ui和命令行两种使用方式，是目前主流的模型训练框架之一。
使用vLLM的guided_decoding_backend参数进行结构化输出 以下是vLLM库中的官方定义，也就是说参数guided_decoding_backend仅可以被赋值为outlines或者lm-format-enforcer。注意：为str格式。
使用Git Bash拉取github仓库代码(包含分支拉取与切换） 3.对项目进行克隆，项目地址为github仓库中Code下复制的HTTPS地址。5.在步骤4命令窗口中可以继续对分支进行拉取，用如下命令可实现：创建本地分支branch_name,且同远程分支origin/branch_name建立了映射关系。4. 进入克隆好的项目文件夹中，右键打开Git Bash Here，可以使用git branch 查看本地分支，最初只有main。6.切换分支，当运行步骤5后，会发现此时本地默认分支从main转变为了branch_name，此时可以使用以下命令进行切换。
关注
