开源项目 `self-speculative-decoding` 使用教程

开源项目 self-speculative-decoding 使用教程

self-speculative-decodingCode associated with the paper **Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding**项目地址:https://gitcode.com/gh_mirrors/se/self-speculative-decoding

1. 项目的目录结构及介绍

self-speculative-decoding/
├── assets/
├── LICENSE
├── README.md
├── decoding.py
├── evaluate.ipynb
├── evaluate_code.ipynb
├── evaluate_sum.ipynb
├── modeling_llama.py
├── search.ipynb
├── searching.py
├── skip_layers.json
└── ssd.yml

• assets/: 存放项目相关的资源文件。
• LICENSE: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。
• decoding.py: 实现自推测解码的核心过程。
• evaluate.ipynb: 用于评估自推测解码的Jupyter Notebook。
• evaluate_code.ipynb: 用于评估自推测解码在代码生成任务上的Jupyter Notebook。
• evaluate_sum.ipynb: 用于评估自推测解码在文本生成任务上的Jupyter Notebook。
• modeling_llama.py: 包含自推测解码的模型结构。
• search.ipynb: 用于搜索跳过的层的Jupyter Notebook。
• searching.py: 选择跳过的层的过程。
• skip_layers.json: 记录草稿模型跳过的层。
• ssd.yml: 项目的配置文件。

2. 项目的启动文件介绍

项目的启动文件主要是Jupyter Notebook文件，用于执行不同的任务：

• evaluate.ipynb: 用于评估自推测解码的性能。
• evaluate_code.ipynb: 用于评估自推测解码在代码生成任务上的性能。
• evaluate_sum.ipynb: 用于评估自推测解码在文本生成任务上的性能。
• search.ipynb: 用于搜索和选择跳过的层。

这些Notebook文件包含了项目的核心逻辑和评估过程，用户可以通过运行这些Notebook来启动和测试项目。

3. 项目的配置文件介绍

项目的配置文件是 ssd.yml，它包含了项目运行所需的各种配置参数，例如：

• 模型参数
• 训练参数
• 评估参数
• 其他自定义配置

用户可以根据自己的需求修改 ssd.yml 文件中的参数，以适应不同的运行环境和任务需求。

---

以上是 self-speculative-decoding 项目的基本使用教程，希望对您有所帮助。

self-speculative-decodingCode associated with the paper **Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding**项目地址:https://gitcode.com/gh_mirrors/se/self-speculative-decoding