Orkhon:高性能机器学习推理框架与服务器运行时
orkhonOrkhon: ML Inference Framework and Server Runtime项目地址:https://gitcode.com/gh_mirrors/or/orkhon
项目介绍
Orkhon 是一个用 Rust 编写的机器学习推理框架和服务器运行时,旨在高效地运行和使用用 Python 编写的推理代码、冻结模型并处理未见数据。它主要关注于以高性能方式服务模型和处理未见数据,而不是直接使用 Python,从而解决了服务器扩展性问题。
项目技术分析
Orkhon 的核心优势在于其异步 API,这使得它能够在处理大量并发请求时保持高性能。此外,它还支持同步和异步 API,易于嵌入到知名的 Rust 网络框架中,并提供了与 Python 代码交互的 API 契约。Orkhon 还具有高处理吞吐量,例如每秒处理约 4.8361 GiB 的预测数据,3000 个并发请求平均耗时约 4 毫秒。
项目及技术应用场景
Orkhon 适用于需要高性能机器学习推理的场景,特别是在需要处理大量并发请求的服务器环境中。它可以用于各种在线服务,如推荐系统、图像识别、自然语言处理等,提供快速且可靠的模型推理服务。
项目特点
- 异步 API:支持同步和异步 API,适用于不同场景。
- 易于嵌入:可以轻松嵌入到现有的 Rust 网络框架中。
- Python 模块缓存:优化 Python 模块的加载和缓存,提高性能。
- 高吞吐量:在处理大量数据时表现出色,适合高并发环境。
- 多模型支持:支持 TensorFlow 和 ONNX 模型,灵活适应不同需求。
安装与使用
您可以通过以下方式将 Orkhon 包含到您的项目中:
[dependencies]
orkhon = "0.2"
示例代码
异步请求 TensorFlow 预测
use orkhon::prelude::*;
use orkhon::tcore::prelude::*;
use orkhon::ttensor::prelude::*;
use rand::*;
use std::path::PathBuf;
let o = Orkhon::new()
.config(
OrkhonConfig::new()
.with_input_fact_shape(InferenceFact::dt_shape(f32::datum_type(), tvec![10, 100])),
)
.tensorflow(
"model_which_will_be_tested",
PathBuf::from("tests/protobuf/manual_input_infer/my_model.pb"),
)
.shareable();
let mut rng = thread_rng();
let vals: Vec<_> = (0..1000).map(|_| rng.gen::<f32>()).collect();
let input = tract_ndarray::arr1(&vals).into_shape((10, 100)).unwrap();
let o = o.get();
let handle = async move {
let processor = o.tensorflow_request_async(
"model_which_will_be_tested",
ORequest::with_body(TFRequest::new().body(input.into())),
);
processor.await
};
let resp = block_on(handle).unwrap();
同步请求 ONNX 预测
use orkhon::prelude::*;
use orkhon::tcore::prelude::*;
use orkhon::ttensor::prelude::*;
use rand::*;
use std::path::PathBuf;
let o = Orkhon::new()
.config(
OrkhonConfig::new()
.with_input_fact_shape(InferenceFact::dt_shape(f32::datum_type(), tvec![10, 100])),
)
.onnx(
"model_which_will_be_tested",
PathBuf::from("tests/protobuf/onnx_model/example.onnx"),
)
.build();
let mut rng = thread_rng();
let vals: Vec<_> = (0..1000).map(|_| rng.gen::<f32>()).collect();
let input = tract_ndarray::arr1(&vals
orkhonOrkhon: ML Inference Framework and Server Runtime项目地址:https://gitcode.com/gh_mirrors/or/orkhon