AI Toolkit for Visual Studio Code 使用教程

经梦鸽

于 2024-09-13 08:35:51 发布

阅读量999

点赞数 10

本文链接：https://blog.csdn.net/gitblog_00406/article/details/142197919

版权

AI Toolkit for Visual Studio Code 使用教程

vscode-ai-toolkit 项目地址: https://gitcode.com/gh_mirrors/vs/vscode-ai-toolkit

1. 项目介绍

AI Toolkit for Visual Studio Code（简称AI Toolkit）是一个VS Code扩展，旨在简化生成式AI应用的开发。它集成了来自Azure AI Studio和Hugging Face的工具和模型，帮助开发者快速下载、微调、测试和部署AI模型。AI Toolkit支持在本地运行AI模型，并提供了直观的模型测试环境和REST API，方便开发者在自己的应用中集成AI功能。

2. 项目快速启动

2.1 安装AI Toolkit

首先，确保你已经安装了Visual Studio Code。然后按照以下步骤安装AI Toolkit：

打开VS Code，点击左侧活动栏中的“扩展”图标。
在扩展搜索栏中输入“AI Toolkit”。
选择“AI Toolkit for Visual Studio Code”并点击“安装”。

2.2 下载模型

安装完成后，你可以通过AI Toolkit下载AI模型。以下是下载模型的步骤：

在VS Code中打开AI Toolkit侧边栏。
选择“Model Catalog”。
根据你的硬件配置选择合适的模型，例如：
- 如果你有GPU，可以选择Phi-3-mini-4k-directml-int4-awq-block-128-onnx。
- 如果没有GPU，可以选择Phi-3-mini-4k-cpu-int4-rtn-block-32-acc-level-4-onnx。
点击“下载”按钮，等待模型下载完成。

2.3 在Playground中运行模型

模型下载完成后，你可以在Playground中测试模型：

在模型卡片上点击“Load in Playground”。
在Playground的聊天界面中输入测试消息，例如：What is the golden ratio?。
按下回车键，观察模型的响应。

2.4 使用REST API

AI Toolkit还提供了一个本地REST API，你可以通过以下步骤在应用中使用：

创建一个JSON文件，配置请求体，例如：

{
  "model": "Phi-3-mini-4k-directml-int4-awq-block-128-onnx",
  "messages": [
    {
      "role": "user",
      "content": "What is the golden ratio?"
    }
  ],
  "temperature": 0.7,
  "top_p": 1,
  "top_k": 10,
  "max_tokens": 100,
  "stream": true
}

使用Postman或CURL测试API，例如：

curl -vX POST http://127.0.0.1:5272/v1/chat/completions -H 'Content-Type: application/json' -d @body.json

3. 应用案例和最佳实践

3.1 文本生成

AI Toolkit可以用于生成各种类型的文本，例如文章、故事、代码等。你可以通过微调模型来定制生成内容的风格和主题。

3.2 聊天机器人

通过AI Toolkit，你可以快速构建一个聊天机器人，用于客户服务、技术支持等场景。你可以使用REST API将模型集成到现有的聊天平台中。

3.3 数据分析

AI Toolkit还可以用于数据分析，例如生成数据报告、预测趋势等。你可以通过微调模型来提高分析的准确性和可靠性。

4. 典型生态项目

4.1 Azure AI Studio

Azure AI Studio是微软提供的一个AI开发平台，集成了多种AI工具和服务。AI Toolkit与Azure AI Studio紧密集成，方便开发者将本地模型部署到云端。

4.2 Hugging Face

Hugging Face是一个开源的AI模型库，提供了大量的预训练模型。AI Toolkit支持从Hugging Face下载模型，并进行本地微调和测试。

4.3 Olive

Olive是微软开发的一个AI模型优化工具，用于提高模型的性能和效率。AI Toolkit使用Olive进行模型微调，确保模型在本地运行时具有最佳性能。

通过以上步骤和案例，你可以快速上手AI Toolkit for Visual Studio Code，并将其应用于各种AI开发任务中。

vscode-ai-toolkit 项目地址: https://gitcode.com/gh_mirrors/vs/vscode-ai-toolkit