【ESP32接入国产大模型之kimi】

已于 2024-08-14 09:18:51 修改
阅读量1.8k 收藏 45
点赞数 67
分类专栏： esp32国产大模型接入 文章标签： ESP32S3 kimi
于 2024-08-14 05:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vor234/article/details/140782934
版权

【ESP32接入国产大模型之kimi】

1. Kimi大模型

视频教程：https://www.bilibili.com/video/BV17pYie6EnU/

ESP32接入国产大模型之kimi

首先声明没有恰饭广告，源代码已经匿名处理，制作细节非常完善，方便大家复刻才会提供快捷的相关链接跳转！！！😘😘😘
在这里插入图片描述

👋 大家好，这里是 Kimi 的新朋友们和 Kimi 聊天时，随时 @ Kimi+，召唤你的私人助理。
在这里插入图片描述

随着人工智能技术的不断发展，自然语言处理领域也得到了广泛的关注和应用。字节跳动自研LLM模型专业版，支持128K长文本，全系列可精调，具备更强的理解、生成、逻辑等综合能力，适配问答、总结、创作、分类等丰富场景。。本文将重点介绍如何通过ESP32S3接入国产大模型之Kimi api。
【ESP32接入国产大模型之kimi】
上一篇博客已经分享了
【ESP32接入国产大模型之豆包】
【ESP32接入国产大模型之星火】
【ESP32接入国产大模型之MiniMax】
【ESP32接入语言大模型之智谱清言】
【ESP32接入国产大模型之文心一言】
【ESP32接入语言大模型之通义千问】
【ESP32接入国产大模型之kimi】

下面是不标准测评，参考而已

模型响应时间内容质量免费token次数地址
豆包2s9分50万https://www.volcengine.com/product/doubao
讯飞星火4s8分1亿https://www.xfyun.cn/doc/spark/HTTP%E8%B0%83%E7%94%A8%E6%96%87%E6%A1%A3.html
MiniMax3s8分500万https://www.minimaxi.com/
智谱清言7s7分300万https://open.bigmodel.cn/
文心一言10s7分500万https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu
通义千问8s7分800万https://tongyi.aliyun.com/qianwen/
Kimi2s9分50万https://platform.moonshot.cn/docs/guide/start-using-kimi-api

这一次还是采用Arduino编程就会轻松许多开发。这样就可以把大模型装进口袋啦🤣🤣🤣

1.1 了解Kimi api

为方便用户使用，我们提供了 原生 HTTP 来实现模型 API 的调用。
Kimi api

在这里插入图片描述

1.2 Http接口鉴权

本接口支持 API Key 鉴权方式，详见鉴权认证方式。

  1. apikey
    进入 API Key 管理页面，在您有权限的项目下点击新建 API Key，即可生成长效 API Key。API Key 的授权范围为同项目下所有模型推理接入点 API 和智能体 API。

在这里插入图片描述

API Key 签名鉴权方式要求在 HTTP 请求 header 中按如下方式添加 Authorization header:

Authorization: Bearer $ARK_API_KEY

1.3. 接口参数说明

1.3.1 请求体(request)参数

curl https://api.moonshot.cn/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $MOONSHOT_API_KEY" \
  -d '{
    "model": "moonshot-v1-8k",
    "messages": [
      {
        "role": "system",
        "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"
      },
      {
        "role": "user",
        "content": "你好，我叫李雷，1+1等于多少？"
      }
    ],
    "stream": true
  }'

注意

model选默认就好

在这里插入图片描述

1.3.2 返回(response)参数

data: {"id":"cmpl-1305b94c570f447fbde3180560736287","object":"chat.completion.chunk","created":1698999575,"model":"moonshot-v1-8k","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}]}
 
data: {"id":"cmpl-1305b94c570f447fbde3180560736287","object":"chat.completion.chunk","created":1698999575,"model":"moonshot-v1-8k","choices":[{"index":0,"delta":{"content":"你好"},"finish_reason":null}]}
 
...
 
data: {"id":"cmpl-1305b94c570f447fbde3180560736287","object":"chat.completion.chunk","created":1698999575,"model":"moonshot-v1-8k","choices":[{"index":0,"delta":{"content":"。"},"finish_reason":null}]}
 
data: {"id":"cmpl-1305b94c570f447fbde3180560736287","object":"chat.completion.chunk","created":1698999575,"model":"moonshot-v1-8k","choices":[{"index":0,"delta":{},"finish_reason":"stop","usage":{"prompt_tokens":19,"completion_tokens":13,"total_tokens":32}}]}
 
data: [DONE]

1.3.3 错误响应

以下是一组错误返回的例子：

{
    "error": {
        "type": "content_filter",
        "message": "The request was rejected because it was considered high risk"
    }
}

在这里插入图片描述

2. 先决条件

在继续此项目之前，请确保检查以下先决条件。

我们将使用 Arduino IDE 对 ESP32/ESP8266 开发板进行编程，因此在继续本教程之前，请确保已在 Arduino IDE 中安装这些开发板。

2.1 环境配置

  1. Arduino IDE：下载并安装 Arduino IDE；
  2. ESP32 开发板库：在 Arduino IDE 中添加 ESP32 支持；
    参考博客：【esp32c3配置arduino IDE教程】
    为安装过程留出一些时间，具体时间可能因您的互联网连接而异。

2.2 所需零件

要学习本教程，您需要1个 ESP32 开发板或者ESP32C3，建议使用后者，笔者发现同样的代码后者可以轻松调用，ESP32不行（可能板子坏了）。

目前这是我使用的ESP32S3官方硬件👍👍👍（小小的身材有大大的力量）只需要35元加摄像头麦克风79元，后期我会整理相关专栏进行Arduino系统学习😘😘😘。有需要可以购买xiao开发板💕💕💕，SeeedXIAO ESP32S3 Sense硬件购买地址：https://s.click.taobao.com/lekazrt

在这里插入图片描述

3. 核心代码

3.1 源码分享

esp32S3 Arduino代码如下

#include <WiFi.h>
#include <HTTPClient.h>
#include <ArduinoJson.h>

// 1. Replace with your network credentials
const char* ssid = "IQOO";
const char* password = "12345678";

// 2. Replace with your OpenAI API key
const char* kimi_apiKey = "sk-T5A6WKkFBEEmReZrCkozMXD";

// Send request to OpenAI API
String inputText = "你好，kimi！";
String apiUrl = "https://api.moonshot.cn/v1/chat/completions";

String answer;
String getGPTAnswer(String inputText) {
  HTTPClient http;
  http.setTimeout(20000);
  http.begin(apiUrl);
  http.addHeader("Content-Type", "application/json");
  String token_key = String("Bearer ") + kimi_apiKey;
  http.addHeader("Authorization", token_key);
  String payload = 
    "{\"model\":\"moonshot-v1-8k\",\"messages\":["
    "{\"role\":\"system\",\"content\":\"你是我的AI助手小南，你必须用中文回答且字数不超过85个\"},"
    "{\"role\":\"user\",\"content\":\"" + inputText + "\"}"
    "],\"temperature\": 0.3}";

  int httpResponseCode = http.POST(payload);
  if (httpResponseCode == 200) {
    String response = http.getString();
    http.end();
    Serial.println(response);

    // Parse JSON response
    DynamicJsonDocument jsonDoc(1024);
    deserializeJson(jsonDoc, response);
    String outputText = jsonDoc["choices"][0]["message"]["content"];
    return outputText;
    // Serial.println(outputText);
  } else {
    http.end();
    Serial.printf("Error %i \n", httpResponseCode);
    return "<error>";
  }
}

void setup() {
  // Initialize Serial
  Serial.begin(115200);

  // Connect to Wi-Fi network
  WiFi.mode(WIFI_STA);
  WiFi.begin(ssid, password);
  Serial.print("Connecting to WiFi ..");
  while (WiFi.status() != WL_CONNECTED) {
    Serial.print('.');
    delay(1000);
  }
  Serial.println(WiFi.localIP());
  answer = getGPTAnswer(inputText);
  Serial.println("Answer: " + answer);
  Serial.println("Enter a prompt:");

}

void loop() {
  // do nothing
  if (Serial.available()) {
    inputText = Serial.readStringUntil('\r');
    // inputText.trim();
    Serial.println("\n Input:"+inputText);

    answer = getGPTAnswer(inputText);
    Serial.println("Answer: " + answer);
    Serial.println("Enter a prompt:");
  }
  // delay(2);
}

这段代码是一个基于Arduino平台（可能是ESP32或ESP8266）的示例，它通过WiFi连接到指定的无线网络，并利用HTTPClient库向智谱清言API发送POST请求以获取AI生成的回答。

3.2 源码解析

以下是详细的解释：

  1. 导入必要的库：
#include <WiFi.h>
#include <HTTPClient.h>
#include <ArduinoJson.h>
  1. 第一处修改定义Wi-Fi网络凭证：
const char* ssid = "J09 502";
const char* password = "qwertyuiop111";
  1. 第二处修改定义要调用的APIkey：
const char* kimi_apiKey = "sk-T5A6WKkFBEEmReZrCkozMXD";
  1. 第三处修改位置在于Model，豆包有点特殊，每个人的Model有点区别，详细参考1.2Http接口鉴权部分中2. 模型选择。
  String payload = "{\"model\":\"moonshot-v1-8k\",\"messages\":[{\"role\":\"system\",\"content\":\"你是我的AI助手小南，你必须用中文回答且字数不超过85个\"},{\"role\":\"user\",\"content\":\"" + inputText + "\"}],\"temperature\": 0.3}";
  1. 定义输入文本和函数 getGPTAnswer(String inputText)：
  • 输入文本是固定的问候语"你好，豆包"，在实际应用中可以根据需要修改。
  • 函数 getGPTAnswer() 负责执行以下操作：
    初始化HTTPClient对象并设置目标URL。设置Content-Type头信息，构造请求体payload，将用户输入的内容添加到JSON结构中。发送POST请求并检查HTTP响应码。如果响应码为200，则读取并解析返回的JSON数据，提取出结果字段作为回答。若非200，则返回错误字符串 “”。
  1. setup() 函数：
  • 初始化串口通信， 连接到指定的Wi-Fi网络。
  • 连接成功后，获取一个初始的回答并打印出来，然后提示用户输入新的问题。
  1. loop() 函数：
  • 检查串口是否有可用的数据输入。
  • 如果有新输入，读取一行内容，调用 getGPTAnswer() 函数获取AI回答，并将对话过程输出到串口。

4. 上传验证

下面给出下载配置，请严格配置

在这里插入图片描述

如果提示Compilation error: ArduinoJson.h: No such file or directory

在这里插入图片描述

直接在库管理安装Arduinojson库

在这里插入图片描述

豆包模型文本输入这里，记得在右下角选择对应的carriage return
在这里插入图片描述

4.1 对话测试

打开串口监视器，注意右下角选择回车符，选择115200波特率，输入你想问的问题，他就可以回答你

在这里插入图片描述

个人感觉kimi比其他国内大模型响应有点快啦，大约2s返回，太爽啦！😘😘😘

4.2 报错

如果返回error ，大家对照列表查询错误代码，结合提示排查解决

在这里插入图片描述

5. 总结

🥳🥳🥳现在，我们在本教程中，您学习了如何使用ESP32接入语言大模型之kimi。🛹🛹🛹从而实现对外部世界进行感知，充分认识这个有机与无机的环境，后期会持续分享esp32跑freertos实用案列🥳🥳🥳科学地合理地进行创作和发挥效益，然后为人类社会发展贡献一点微薄之力。🤣🤣🤣

如果你有任何问题，可以通过q group(945348278)加入鹏鹏小分队，期待与你思维的碰撞😘😘😘

2345VOR
关注
专栏目录
ESP32上使用chatGPT做一些有意思的事情
嵌入式基地
05-31 3209
接下来，我们添加HTTP头，如Content-Type，其中我们指定我们将使用JSON数据和Authentication头进行通信，用API_KEY对ChatGPT API进行认证。如果返回的是200以外的HTTP代码，我们将打印 “Error： HTTP代码”，例如，如果你的API令牌是无效的，它将打印 “错误： 401”.1、 首先，我们需要包括必要的库，以便ESP32通过Wi-Fi通信，提出HTTP请求，并解析JSON数据。1、在OpenAI网站上注册，并在ESP32上安装必要的库。
【ESP32接入国产大模型之星火】
vor234的博客
07-31 1273
本文将重点介绍如何通过ESP32S3接入国产大模型之星火 api，注意是采用http协议的，特点是短连接，关键大模型对话响应还不错😘😘😘。websocket对网络要求高，并且是长连接接入非常复杂，且消耗资源非常大，后续语言大模型考虑加入。这段代码是一个基于Arduino平台的示例，它通过ESP32S3WiFi连接到指定的无线网络，并利用HTTPClient库向星火API发送POST请求以获取AI生成的回答。
乐鑫ESP32-S3-BOX-3开发套件，实现产品智能化升级，启明云端乐鑫代理商
wireless_tag的博客
08-12 531
ESP32-S3-BOX-3的配件生态同样丰富，包括SENSOR和DOCK等，它们提供了多种传感器和接口，支持用户根据项目需求进行定制和扩展。ESP32-S3为物联网设备提供了完善的安全机制和保护措施，防止各类恶意攻击和威胁，支持基于AES-XTS算法的flash加密、基于RSA算法的安全启动、数字签名和HMAC。丰富的外设接口，为智能设备提供了广泛的扩展性。通过这些优势，ESP32-S3-BOX-3不仅提高了智能设备的性能和功能，而且降低了开发复杂智能系统的门槛，加速了智能技术在各个领域的应用和普及。
【ESP32接入国产大模型之文心一言】
vor234的博客
01-04 9548
API 的调用流程如下图所示。创建一个千帆应用。根据实际需求创建千帆应用，创建成功后，获取AppID、API Key、Secret Key 等信息。API 授权。对应用的 AppID 进行授权。获取接口访问凭证 access_token。根据第1步获取的 API Key 和 Secret Key ，调用获取接口获取 access_token ，通过 access_token 鉴权调用者身份。调用API接口。例如调用ERNIE-Bot相关接口，详见API列表。
【ESP32接入国产大模型之豆包】
vor234的博客
07-24 1819
🥳🥳🥳现在，我们在本教程中，您学习了如何使用ESP32接入语言大模型之豆包。🛹🛹🛹从而实现对外部世界进行感知，充分认识这个有机与无机的环境，后期会持续分享esp32跑freertos实用案列🥳🥳🥳科学地合理地进行创作和发挥效益，然后为人类社会发展贡献一点微薄之力。🤣🤣🤣如果你有任何问题，可以通过q group(945348278)加入鹏鹏小分队，期待与你思维的碰撞😘😘😘。
火山方舟：Skylark-chat（豆包同款） API调用说明
采菊东篱下，Python满乾坤！
02-26 1万+
云雀 (Skylark) 是字节内部团队研发的大规模预训练语言模型系列，目前有 lite, plus 和 pro 三个不同规模的版本。Skylark-chat跟豆包版本对齐（版本更新有1天左右延迟）。说明：1、该模型会跟进豆包，更新信息不会主动通知用户；2、如果业务需要稳定的模型，可以使用skylark-lite/plus/pro等。
豆包大模型API接入
05-31 5593
"text": f"请求方舟 API 时发生未知的错误: {resp}"{'error_code': 0, 'text': '你好！有什么我可以帮助你的？{'error_code': 0, 'text': '你好！有什么我可以帮助'}"content": "你好"{'error_code': 0, 'text': '你好！{'error_code': 0, 'text': '你'}
豆包保姆级接入流程
qq_62775328的博客
07-18 4194
豆包保姆级接入流程
手把手教你用聆思CSK6大模型开发板接入豆包/火山方舟大模型
分享AI芯片开发经验
07-23 1146
近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入豆包为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。
【ESP32接入国产大模型之MiniMax】
vor234的博客
03-16 3545
🥳🥳🥳现在，我们在本教程中，您学习了如何使用ESP32接入语言大模型之MiniMax。🛹🛹🛹从而实现对外部世界进行感知，充分认识这个有机与无机的环境，后期会持续分享esp32跑freertos实用案列🥳🥳🥳科学地合理地进行创作和发挥效益，然后为人类社会发展贡献一点微薄之力。🤣🤣🤣如果你有任何问题，可以通过下面的二维码加入鹏鹏小分队，期待与你思维的碰撞😘😘😘。
源达信息：人工智能专题研究系列五-Kimi智能助手热度高涨-国产大模型加速发展.pdf
07-02
### 国产大模型技术发展及其在Kimi智能助手中的应用 #### 一、Kimi智能助手热度高涨：国产大模型商业化前景广阔 Kimi智能助手作为一款基于国产大模型技术开发的人工智能产品，近期在市场上表现出了极高的热度。这...
KIMI大模型浏览器插件
04-25
本插件为kimi在谷歌浏览器上的插件，添加插件后可以使用kimi的AIGC功能。
java程序集成ai大模型源代码分享给需要的同学【SpringBoot集成ai大模型（讯飞星火认知大模型，Kimi AI，通义】
最新发布
08-17
SpringBoot集成ai大模型（讯飞星火认知大模型，Kimi AI，通义千问）。 使用说明 注册账号。 讯飞星火开放平台：https://www.xfyun.cn/ Moonshot AI开放平台：https://platform.moonshot.cn/console/info （阿里云百...
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
丨汀、的博客
07-16 1019
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
详解大模型微调数据集构建方法(持续更新)
热门推荐
herosunly的博客
06-05 11万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
esp32-S3 使用自带的大模型，实现本地文字转语言tts
MyLovelyJay的博客
05-21 677
esp32-S3 使用自带的大模型，实现本地文字转语言tts
今日头条豆包大语言模型api接入python SDK，安装官方库报错，解决方法
IT技术博客
06-24 2974
当我们去调用官方给的示例的时候会出错，提示有些库没有安装，这个时候，我们再在pycharm中执行一下下面的安装库方法。下载到本地，解压缩，放到pycharm的虚拟环境下面，路径：venv/Lib/site-packages。打开pypi.org，搜索：volcengine-python-sd。上面解决了依赖库的问题，下面我们还需要在头条大模型后台设置几个内容。联系官方，官方说自己那边可以正常安装。新建推理模型，获取到调用模型，model。然后想了一下，直接手动下载安装吧！获取到apikey。
MicroPython 环境下使用 ESP32 连接百度 AI 大模型
Wang2869902214的博客
06-13 1628
本文详细介绍了如何在 MicroPython 环境下，利用 ESP32开发板连接百度AI大模型。初步从硬件准备（ESP32开发板）和软件配置（MicroPython固件和Thonny IDE）开始，指导读者设置一个适合连接百度AI大模型的开发环境。随后，文章通过实际的代码示例，展示了如何在ESP32上实现WiFi连接以及如何构造和发送HTTP请求至百度AI大模型API，包括如何合适地处理包含中文的JSON数据。 此外，文章还特别强调了在数据处理过程中的关键注意点，比如必须确保数据以utf-8格式编码
KIMI大模型架构图
04-26
KIMI大模型是CSDN自主研发的一个基于深度学习的文本生成模型，用于生成高质量的技术问答。以下是KIMI大模型的架构图： 1. 输入处理层：接收用户输入的问题，并进行预处理，例如分词、去除停用词等。 2. 特征提取层：将预处理后的问题转化为向量表示，常用的方法包括词嵌入（Word Embedding）和句子嵌入（Sentence Embedding）。 3. 知识检索层：使用倒排索引等技术，从海量的技术知识库中检索出相关的问题与答案。 4. 答案生成层：基于检索到的相关问题与答案，结合用户输入的问题，通过序列到序列模型（Sequence-to-Sequence Model）生成候选答案。 5. 答案排序层：对生成的候选答案进行排序，选择最优的答案作为最终输出。 6. 输出处理层：将最终答案进行格式化处理，返回给用户。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

2345VOR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值