开源项目 self-speculative-decoding
使用教程
1. 项目的目录结构及介绍
self-speculative-decoding/
├── assets/
├── LICENSE
├── README.md
├── decoding.py
├── evaluate.ipynb
├── evaluate_code.ipynb
├── evaluate_sum.ipynb
├── modeling_llama.py
├── search.ipynb
├── searching.py
├── skip_layers.json
└── ssd.yml
assets/
: 存放项目相关的资源文件。LICENSE
: 项目的许可证文件。README.md
: 项目的介绍和使用说明。decoding.py
: 实现自推测解码的核心过程。evaluate.ipynb
: 用于评估自推测解码的Jupyter Notebook。evaluate_code.ipynb
: 用于评估自推测解码在代码生成任务上的Jupyter Notebook。evaluate_sum.ipynb
: 用于评估自推测解码在文本生成任务上的Jupyter Notebook。modeling_llama.py
: 包含自推测解码的模型结构。search.ipynb
: 用于搜索跳过的层的Jupyter Notebook。searching.py
: 选择跳过的层的过程。skip_layers.json
: 记录草稿模型跳过的层。ssd.yml
: 项目的配置文件。
2. 项目的启动文件介绍
项目的启动文件主要是Jupyter Notebook文件,用于执行不同的任务:
evaluate.ipynb
: 用于评估自推测解码的性能。evaluate_code.ipynb
: 用于评估自推测解码在代码生成任务上的性能。evaluate_sum.ipynb
: 用于评估自推测解码在文本生成任务上的性能。search.ipynb
: 用于搜索和选择跳过的层。
这些Notebook文件包含了项目的核心逻辑和评估过程,用户可以通过运行这些Notebook来启动和测试项目。
3. 项目的配置文件介绍
项目的配置文件是 ssd.yml
,它包含了项目运行所需的各种配置参数,例如:
- 模型参数
- 训练参数
- 评估参数
- 其他自定义配置
用户可以根据自己的需求修改 ssd.yml
文件中的参数,以适应不同的运行环境和任务需求。
以上是 self-speculative-decoding
项目的基本使用教程,希望对您有所帮助。