【Rust日报】2023-05-10 llm - 使用Rust在CPU上运行大模型

llm - 使用Rust在CPU上运行大模型

这是一套工具。目前支持这些模型：

• GPT-2

• GPT-J

• LLaMA: LLaMA, Alpaca, Vicuna, Koala, GPT4All v1, GPT4-X, Wizard

• GPT-NeoX: GPT-NeoX, StableLM, Dolly v2 (partial, not the same tensor names?)

• BLOOM: BLOOMZ

https://github.com/rustformers/llm

从Rust 1.71开始，musl编译目标依赖的musl版本升级了。

Beginning with Rust 1.71 (slated for stable release on 2023-07-13),

从 musl 1.1.24 升级到了musl 1.2.3.

https://blog.rust-lang.org/2023/05/09/Updating-musl-targets.html

Salvo 0.41.0 发布，初步支持 openapi

use salvo::oapi::extract::*;
use salvo::oapi::swagger_ui::SwaggerUi;
use salvo::oapi: