Cortex.cpp 开源项目教程

Cortex.cpp 开源项目教程

cortex Drop-in, local AI alternative to the OpenAI stack. Multi-engine (llama.cpp, TensorRT-LLM). Powers 👋 Jan 项目地址: https://gitcode.com/gh_mirrors/cor/cortex

1. 项目介绍

Cortex.cpp 是一个本地 AI 引擎，用于运行和定制大型语言模型（LLMs）。它支持多种模型格式，包括 llama.cpp、onnx 和 tensorrt-llm。Cortex.cpp 可以作为独立服务器部署，也可以集成到应用程序中，如 Jan.ai。

2. 项目快速启动

2.1 安装

2.1.1 本地安装器

Cortex.cpp 提供了本地安装器，适用于 Windows、MacOS 和 Linux 系统。以下是安装步骤：

• Windows:

  sudo apt install /cortex-local-installer.exe
  

• MacOS:

  sudo apt install /cortex-local-installer.pkg
  

• Linux:

  sudo apt install /cortex-local-installer.deb
  

2.1.2 网络安装器

网络安装器需要互联网连接来下载必要的依赖项：

• Windows:

  sudo apt install /cortex-network-installer.exe
  

• MacOS:

  sudo apt install /cortex-network-installer.pkg
  

• Linux:

  sudo apt install /cortex-network-installer.deb
  

2.2 使用

安装完成后，可以通过命令行运行 Cortex.cpp：

cortex --help

对于 Beta 预览版，可以使用以下命令：

cortex-beta --help

3. 应用案例和最佳实践

3.1 模型运行

Cortex.cpp 支持多种模型，以下是一些示例：

• llama.cpp:

  cortex run llama3:1
  

• TensorRT:

  cortex run mistral
  

• ONNXRuntime:

  cortex run qwen2:7b-gguf
  

3.2 最佳实践

• 内存要求: 运行 7B 模型至少需要 8GB RAM，14B 模型需要 16GB RAM，32B 模型需要 32GB RAM。
• 模型管理: 所有下载的模型源文件将存储在 ~\cortexcpp\models 目录中。

4. 典型生态项目

4.1 Jan.ai

Jan.ai 是一个集成 Cortex.cpp 的应用程序，提供本地 AI 模型的运行和定制功能。

4.2 其他生态项目

• llama.cpp: 一个轻量级的 C++ 库，用于运行和优化 LLMs。
• TensorRT-LLM: NVIDIA 的 TensorRT 库，用于加速 LLMs 的推理。
• ONNXRuntime: 一个跨平台的深度学习推理引擎。

通过这些生态项目，Cortex.cpp 可以实现更高效的模型运行和定制。

cortex Drop-in, local AI alternative to the OpenAI stack. Multi-engine (llama.cpp, TensorRT-LLM). Powers 👋 Jan 项目地址: https://gitcode.com/gh_mirrors/cor/cortex