Willow Inference Server 使用教程

Willow Inference Server 使用教程

willow-inference-serverOpen source, local, and self-hosted highly optimized language inference server supporting ASR/STT, TTS, and LLM across WebRTC, REST, and WS项目地址:https://gitcode.com/gh_mirrors/wi/willow-inference-server

1. 项目的目录结构及介绍

Willow Inference Server 是一个开源的、本地托管的、高度优化的语言推理服务器，支持 ASR/STT、TTS 和 LLM 等功能。以下是其主要目录结构及介绍：

willow-inference-server/
├── README.md
├── LICENSE
├── utils/
│   ├── gen-cert.sh
│   ├── run.sh
├── settings.py
├── models/
│   ├── whisper/
│   ├── vicuna/
├── api/
│   ├── rest/
│   ├── webrtc/
├── docs/
│   ├── api_docs.md
│   ├── configuration.md

• README.md: 项目介绍和基本使用说明。
• LICENSE: 项目许可证（Apache-2.0）。
• utils/: 包含启动和生成证书的脚本。
• settings.py: 项目的配置文件。
• models/: 存放各种模型文件，如 Whisper 和 Vicuna。
• api/: 包含 REST 和 WebRTC 接口的实现。
• docs/: 项目的文档，包括 API 文档和配置说明。

2. 项目的启动文件介绍

项目的启动主要依赖于 utils 目录下的脚本文件：

• gen-cert.sh: 用于生成 SSL 证书，确保 HTTPS 连接的安全性。
• run.sh: 用于启动 Willow Inference Server。

使用方法如下：

# 生成证书
./utils/gen-cert.sh [your hostname]

# 启动服务器
./utils/run.sh

3. 项目的配置文件介绍

项目的配置文件主要位于 settings.py，可以通过修改该文件来调整服务器的运行参数。此外，还可以通过在 WIS 根目录下放置一个 .env 文件来覆盖默认配置。

• settings.py: 包含服务器的默认配置参数。
• .env: 可选的环境变量文件，用于覆盖默认配置。

示例 .env 文件内容：

HOSTNAME=your_hostname
PORT=19000

通过修改这些配置文件，可以灵活地调整 Willow Inference Server 的运行行为。

---

以上是 Willow Inference Server 的基本使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。

willow-inference-serverOpen source, local, and self-hosted highly optimized language inference server supporting ASR/STT, TTS, and LLM across WebRTC, REST, and WS项目地址:https://gitcode.com/gh_mirrors/wi/willow-inference-server