Willow Inference Server 使用教程
1. 项目的目录结构及介绍
Willow Inference Server 是一个开源的、本地托管的、高度优化的语言推理服务器,支持 ASR/STT、TTS 和 LLM 等功能。以下是其主要目录结构及介绍:
willow-inference-server/
├── README.md
├── LICENSE
├── utils/
│ ├── gen-cert.sh
│ ├── run.sh
├── settings.py
├── models/
│ ├── whisper/
│ ├── vicuna/
├── api/
│ ├── rest/
│ ├── webrtc/
├── docs/
│ ├── api_docs.md
│ ├── configuration.md
- README.md: 项目介绍和基本使用说明。
- LICENSE: 项目许可证(Apache-2.0)。
- utils/: 包含启动和生成证书的脚本。
- settings.py: 项目的配置文件。
- models/: 存放各种模型文件,如 Whisper 和 Vicuna。
- api/: 包含 REST 和 WebRTC 接口的实现。
- docs/: 项目的文档,包括 API 文档和配置说明。
2. 项目的启动文件介绍
项目的启动主要依赖于 utils
目录下的脚本文件:
- gen-cert.sh: 用于生成 SSL 证书,确保 HTTPS 连接的安全性。
- run.sh: 用于启动 Willow Inference Server。
使用方法如下:
# 生成证书
./utils/gen-cert.sh [your hostname]
# 启动服务器
./utils/run.sh
3. 项目的配置文件介绍
项目的配置文件主要位于 settings.py
,可以通过修改该文件来调整服务器的运行参数。此外,还可以通过在 WIS 根目录下放置一个 .env
文件来覆盖默认配置。
- settings.py: 包含服务器的默认配置参数。
- .env: 可选的环境变量文件,用于覆盖默认配置。
示例 .env
文件内容:
HOSTNAME=your_hostname
PORT=19000
通过修改这些配置文件,可以灵活地调整 Willow Inference Server 的运行行为。
以上是 Willow Inference Server 的基本使用教程,涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。