Orkhon：高性能机器学习推理框架与服务器运行时

Orkhon：高性能机器学习推理框架与服务器运行时

orkhonOrkhon: ML Inference Framework and Server Runtime项目地址:https://gitcode.com/gh_mirrors/or/orkhon

项目介绍

Orkhon 是一个用 Rust 编写的机器学习推理框架和服务器运行时，旨在高效地运行和使用用 Python 编写的推理代码、冻结模型并处理未见数据。它主要关注于以高性能方式服务模型和处理未见数据，而不是直接使用 Python，从而解决了服务器扩展性问题。

项目技术分析

Orkhon 的核心优势在于其异步 API，这使得它能够在处理大量并发请求时保持高性能。此外，它还支持同步和异步 API，易于嵌入到知名的 Rust 网络框架中，并提供了与 Python 代码交互的 API 契约。Orkhon 还具有高处理吞吐量，例如每秒处理约 4.8361 GiB 的预测数据，3000 个并发请求平均耗时约 4 毫秒。

项目及技术应用场景

Orkhon 适用于需要高性能机器学习推理的场景，特别是在需要处理大量并发请求的服务器环境中。它可以用于各种在线服务，如推荐系统、图像识别、自然语言处理等，提供快速且可靠的模型推理服务。

项目特点

• 异步 API：支持同步和异步 API，适用于不同场景。
• 易于嵌入：可以轻松嵌入到现有的 Rust 网络框架中。
• Python 模块缓存：优化 Python 模块的加载和缓存，提高性能。
• 高吞吐量：在处理大量数据时表现出色，适合高并发环境。
• 多模型支持：支持 TensorFlow 和 ONNX 模型，灵活适应不同需求。

安装与使用

您可以通过以下方式将 Orkhon 包含到您的项目中：

[dependencies]
orkhon = "0.2"

示例代码

异步请求 TensorFlow 预测

use orkhon::prelude::*;
use orkhon::tcore::prelude::*;
use orkhon::ttensor::prelude::*;
use rand::*;
use std::path::PathBuf;

let o = Orkhon::new()
    .config(
        OrkhonConfig::new()
            .with_input_fact_shape(InferenceFact::dt_shape(f32::datum_type(), tvec![10, 100])),
    )
    .tensorflow(
        "model_which_will_be_tested",
        PathBuf::from("tests/protobuf/manual_input_infer/my_model.pb"),
    )
    .shareable();

let mut rng = thread_rng();
let vals: Vec<_> = (0..1000).map(|_| rng.gen::<f32>()).collect();
let input = tract_ndarray::arr1(&vals).into_shape((10, 100)).unwrap();

let o = o.get();
let handle = async move {
    let processor = o.tensorflow_request_async(
       "model_which_will_be_tested",
       ORequest::with_body(TFRequest::new().body(input.into())),
    );
    processor.await
};
let resp = block_on(handle).unwrap();

同步请求 ONNX 预测

use orkhon::prelude::*;
use orkhon::tcore::prelude::*;
use orkhon::ttensor::prelude::*;
use rand::*;
use std::path::PathBuf;

let o = Orkhon::new()
    .config(
        OrkhonConfig::new()
            .with_input_fact_shape(InferenceFact::dt_shape(f32::datum_type(), tvec![10, 100])),
    )
    .onnx(
        "model_which_will_be_tested",
        PathBuf::from("tests/protobuf/onnx_model/example.onnx"),
    )
    .build();

let mut rng = thread_rng();
let vals: Vec<_> = (0..1000).map(|_| rng.gen::<f32>()).collect();
let input = tract_ndarray::arr1(&vals

orkhonOrkhon: ML Inference Framework and Server Runtime项目地址:https://gitcode.com/gh_mirrors/or/orkhon