Turbopilot 项目使用教程

Turbopilot 项目使用教程

turbopilotTurbopilot is an open source large-language-model based code completion engine that runs locally on CPU项目地址:https://gitcode.com/gh_mirrors/tu/turbopilot

1. 项目目录结构及介绍

Turbopilot 项目的目录结构如下：

turbopilot/
├── convert-codegen-to-ggml.py
├── requirements.txt
├── run.sh
├── test.txt
├── test_codegen2.py
├── test_santa.py
├── turbopilot.code-workspace
├── README.md
├── LICENSE
└── MODELS.md

目录结构介绍

• convert-codegen-to-ggml.py: 用于将 Salesforce Codegen 模型转换为 GGML 格式的脚本。
• requirements.txt: 项目依赖的 Python 包列表。
• run.sh: 启动项目的脚本。
• test.txt: 测试文件。
• test_codegen2.py: 针对 Codegen 2 模型的测试脚本。
• test_santa.py: 针对 Santa 模型的测试脚本。
• turbopilot.code-workspace: VSCode 工作区配置文件。
• README.md: 项目介绍和使用说明。
• LICENSE: 项目许可证文件。
• MODELS.md: 模型相关信息和下载链接。

2. 项目启动文件介绍

项目的启动文件是 run.sh。该脚本用于启动 Turbopilot 服务。

run.sh 文件内容

#!/bin/bash

# 设置环境变量
export THREADS=6
export MODEL_TYPE=starcoder
export MODEL="/models/santacoder-q4_0.bin"

# 启动服务
docker run --rm -it \
  -v /models:/models \
  -e THREADS=$THREADS \
  -e MODEL_TYPE=$MODEL_TYPE \
  -e MODEL=$MODEL \
  -p 18080:18080 \
  ghcr.io/ravenscroftj/turbopilot:latest

启动步骤

1. 确保 Docker 已安装并运行。
2. 下载所需的模型文件并放置在 /models 目录下。
3. 运行 run.sh 脚本启动服务。

3. 项目的配置文件介绍

项目的配置文件主要是 run.sh 脚本中的环境变量设置。

配置项介绍

• THREADS: 设置线程数，默认为 6。
• MODEL_TYPE: 设置模型类型，默认为 starcoder。
• MODEL: 设置模型文件路径，默认为 /models/santacoder-q4_0.bin。

配置示例

export THREADS=6
export MODEL_TYPE=starcoder
export MODEL="/models/santacoder-q4_0.bin"

通过修改这些环境变量，可以自定义 Turbopilot 的运行配置。

turbopilotTurbopilot is an open source large-language-model based code completion engine that runs locally on CPU项目地址:https://gitcode.com/gh_mirrors/tu/turbopilot