【llama3中文版本】

一、llama中文版

	公司	大小
https://github.com/CrazyBoyM/llama3-Chinese-chat https://huggingface.co/shenzhi-wang/Llama3.1-8B-Chinese-Chat	first version of llama3 in Chinese (首个llama3 中文版)	8B

二、 LLaMA 3 中文模型概览

1. shareAI-DPO 中文 8B 版本 (RLHF 中文)

• 训练数据: DPO-zh-en-emoji
• 训练细节: DPO(beta 0.5) + lora rank128, alpha256 + 打开"lm_head", “input_layernorm”, “post_attention_layernorm”, "norm"层训练
• 算力: 8 * A100，5分钟
• 下载链接:
  • OpenCSG
  • ModelScope
  • Hugging Face
• GGUF 版本:
  • Hugging Face
  • 国内加速
• Ollama 命令: ollama run shareai/llama3.1-dpo-zh

2. openCSG wukong 中文 405B 版本 (SFT 中文)

• 介绍: 文章链接
• 模型: OpenCSG

3. OpenBuddy

• OpenBuddy-LLaMA3.1-8b: ModelScope

4. shareAI 系列

4.1 Base 预训练 + 直接中文 SFT 版

• 训练数据: ModelScope
• V1 版下载:
  • OpenCSG
  • WiseModel
• V2 版下载: ModelScope
• 思维导图生成能力强化 LoRA: ModelScope

4.2 Instruct + 继续中文 SFT 版

• 模型下载: ModelScope
• 在线体验: 云服务器镜像

4.3 Instruct + 强化学习中文版

• LLaMA 3 Instruct DPO 版: ModelScope
• 偏好学习数据集: DPO-zh-en-emoji

4.4 计划中的项目

• Base 预训练 + 海量中文优质数据增量预训练
• 70b 中文版

5. zhuangxialie 版本

• Base + 中文 SFT: ModelScope
• Base + ORPO: ModelScope
• Instruct + DPO: ModelScope

6. LLaMA 3 Pro (加 block 版)

• linjh1118 网友 (ORPO + 2*blocks)

7. LLaMA 3 MoE 增强版

• cooper12121-llama3-8x8b-MoE

8. 长上下文版本

• 联通微调版 v2 (28k 上下文): Hugging Face
• 262k 上下文 (英文): Hugging Face
• 262k 上下文 (中文): 计划中
• 无限上下文版本: 计划中

9. 其他中文微调版本

• 中兴微调版 (DPO) - 70B: ModelScope
• 联通微调版 (SFT): ModelScope
• OpenBuddy 微调版 (SFT): ModelScope
• zhichen 微调版 (ORPO): GitHub
• shenzhi-wang 微调版 (ORPO): Hugging Face
• Rookie 微调版 (SFT): GitHub
• hit-sz klc-lab 微调版: GitHub

10. 破解安全限制系列 (NSFW)

• Unholy: Hugging Face
• neural-chat: HF Mirror
• dolphin: Hugging Face
• Orion: Hugging Face

11. 多模态版 (V-LLaMA3)

图像问答

• Bunny-Llama-3-8B-V: WiseModel
• llava-llama-3-8b: Hugging Face

视频理解

• CogVLM2 (支持 1 分钟内视频问答)

12. Agent 工具能力增强版

• ModelScope Chinese Agent 版 V1: ModelScope

13. EmoLLM 心理领域数据微调版

• 在线体验: OpenXLab
• 模型下载:
  • OpenXLab
  • ModelScope

14. 部署方式

14.1 简单 API 方式

• 文档教程: GitHub - API 部署

14.2 vLLM 方式（推荐，兼容 OpenAI 格式）还有salang推理

• 文档教程: GitHub - vLLM 部署

14.3 本地电脑部署

LMStudio 电脑本地部署方式（有 UI 界面）

• 文档教程: GitHub - LMStudio 部署
• 视频教程: Bilibili - LMStudio 部署视频

Ollama 命令行工具方式（推荐，简单易用）

1. 首先，去官网下载安装 Ollama：https://ollama.com/
2. 然后，打开终端命令行，执行以下命令即可开始与 AI 对话：

   ollama run shareai/llama3.1-dpo-zh
   

这些部署方式为用户提供了多种选择，从简单的 API 方式到本地部署的 UI 界面，再到命令行工具。用户可以根据自己的需求和技术水平选择最适合的部署方式。

三、评测

我理解您的要求。我将按照图片的格式重新组织这些信息，使用Markdown语法来尽可能地复制原图的布局和样式。

四、模型及训练推理成本

• 推理
  ○ fp16模式 大概占用16G显存，推荐24G显卡使用
  ○ int4模式 大概占用8G显存，推荐至少10G显存使用，需要自行搜索修改代码中load_in_4bit=True

• 训练

Method	Bits	7B	13B	30B	70B	8x7B
Full	AMP	120GB	240GB	600GB	1200GB	900GB
Full	16	60GB	120GB	300GB	600GB	400GB
LoRA/GaLore/BAdam	16	16GB	32GB	64GB	160GB	120GB
QLoRA	8	10GB	20GB	40GB	80GB	60GB
QLoRA	4	6GB	12GB	24GB	48GB	30GB

这个格式应该更接近原图的布局。表格显示了不同训练方法、位数精度和模型大小下的显存需求。如果您需要任何进一步的修改或解释，请随时告诉我。

五、训练工具

llama3 训练框架工具
Firefly - https://github.com/yangjianxin1/Firefly
LLaMA-Factory - https://github.com/hiyouga/LLaMA-Factory
unsloth - https://github.com/unslothai/unsloth
Xtuner - https://github.com/SmartFlowAI/Llama3-XTuner-CN
SWIFT - https://github.com/modelscope/swift
llama3 学习教程

六、llama3上下文长度简单扩张法（32K、96K）

以下是将 llama3 模型的上下文长度从 8K 扩展到 32K 的步骤，以适配大部分长上下文任务：

扩展步骤

1. 打开模型文件夹：

   • 直接打开任意下载后的 llama3 微调版本模型文件夹。

2. 修改 config.json：

   • 找到 config.json 文件。
   • 将 max_position_embeddings 改为 32768（32k）。
   • 将 rope_theta 改为 1000000 或 4000000。

适用情况

• 性能：在几乎无性能损失的情况下扩展上下文长度。
• 适用版本：该方法适用于 Instruct 版本的 llama3 模型。
• 猜测：可能是官方已经训练过超长上下文数据。

可以看到，当llama3长度扩展到96K时，几乎仍没什么性能上损失。(备注：当前llama3.1已原生支持128k上下文长度）