esp32接入ai模型

已于 2024-06-03 18:19:01 修改
阅读量1.7k 收藏 32
点赞数 25
文章标签： 人工智能 嵌入式硬件 编辑器
于 2024-06-03 17:42:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79696354/article/details/139411251
版权

esp32接入ai模型与经验分享

前言

本次用到的为arduino环境编写的。
先前我是用到Thonny,但其网络库在api请求时不支持重定向，而arduino库支持。
并且感谢博主 2345VOR (鹏哥) 其博客：
2345VOR
我的代码在他的基础框架进行修改的

实物

在这里插入图片描述

硬件准备

1.一块esp32
在这里插入图片描述
2.屏幕 1.8寸TFT彩屏（驱动芯片ST7735）
在这里插入图片描述
3.语音输入与输出部分
（货物清单在这）
请添加图片描述
4.杜邦线，面包线，led，按键，散热片（芯片发热量有点大）

库文件准备

1.首先要有编程环境（arduino）
2.安装esp32开发板管理
3.安装必要的库文件

#include <TFT_eSPI.h>  //tft库
#include <U8g2_for_TFT_eSPI.h> //汉字库头文件，主要是它

#include <WiFi.h>
#include <ArduinoJson.h>
#include <HTTPClient.h>
#include "base64.h"
#include "cJSON.h"  //网络请求与解析库

#include <driver/i2s.h>//语音输入输出库
#include "Audio.h"

(网络与解析库文件可以直接在arduino下载)
(<driver/i2s.h>库本身就包含了是i2s库的一个分支)
("Audio.h"库需要自己安装)esp32_audio库
(TFT_esoI.h可以直接在arduino下载)
(<U8g2_for_TFT_eSPI.h>库有博主提供了需要自己放在库文件下)
TFT汉字库

TFT屏幕的驱动设置

详细可以看b站视频驱动设置
我这里带大家简单操作下
1.打开对应的库文件
在这里插入图片描述打开arduino文件夹
在这里插入图片描述打开libaries文件夹
打开对应的库文件夹打开TFT_ESPI库文件夹
在这里插入图片描述选择这个文件，进行屏幕驱动的选择
在这里插入图片描述对于我这块屏幕是st7735驱动芯片驱动的
在对应的宏定义前解除注释就行
(驱动选择选完了之后就是引脚选择了)也在同样的文件下
在这里插入图片描述这是我对应的引脚修改
这些做完之后便可以先用arduino上的TFT例程测试一下
(详细可以看视频)

API请求

推荐调试工具为 （postman）
本次用到的为KIMI的ai模型API（post请求）
kimiAPI官网
语音识别为百度智能云上面的云服务（post请求）
语音输出也是百度智能云上的云服务（get请求）
百度智能云平台官网

（这里得知道如何发送请求，与接收json格式的数据）
（以及注册api账户开启api服务，这会产生一些费用）
【由于篇幅原因，希望您可以去网上自行了解】

语音上传部分

一.语音数据采集
语音识别部分为driver/i2s.h库，麦克风部分为INMP441，具体用法
可以csdn上看其他博主的介绍，值得注意的是这个库虽然在声音信号上的
数据采集便利了，但其本身双声道库，一个左或者右麦克风只能采集一半的数
据量，举例：如果我是8k采样1600个16位数据，按理来说是采集2秒，但实际
上其接口函数只有前一半右数据（左声道），后一半（右声道）无数据都为0。
为了解决这个问题有两种方法
          1.是数据增加到3200个，这样也是采样两秒(直接out)浪费资源
          2.在接口函数填入数组大小是设置为两倍长度
二.数据上传部分
	要将采集到的音频数据编码为base64才可上传到百度云，该上传代码
	主要为2345VOR博主所提供

文字转语音

这个是我看到了其他博主的文章发现audio.h库刚好有函数接口可以播放
网络音乐（MP3格式），正好百度智能云的文字转语音用get方法获取也为
MP3格式，在游览器上试了下可以（这个不能用postman调试了），所以这
一部分库函数功能刚好实现

同时输出与输入音频文件

因为库的底层有冲突站用了同一个I2s，虽然说esp32的i2s资源有两个i2s1
与i2s2，我尝试了修改其库的底层让他们分别用不同的i2s，但还是会一直重
启报错（其实是冲突了），网上查了一下是虽然有两个i2s但其实还是同一个
也就是不能同时输出与输入
	解决办法是：用到时候安装上对应的驱动，用完了再去卸载驱动，给另外
	           一个用，这样就不会冲突了

接线部分

语音输出（max98357）
#define I2S_DOUT      25
#define I2S_BCLK      27
#define I2S_LRC       26
max98357的接线端子还要接喇叭（正负不分）
语音输入（inmp441）
#define I2S_WS 32
#define I2S_SD 35
#define I2S_SCK 33
注意INMP441的 L/R接地
tft屏幕
#define TFT_MOSI 2
#define TFT_SCLK 15
#define TFT_CS   17  
#define TFT_DC   16 
#define TFT_RST   4  
LED
#define ledPin 21 （接正极）
按键
#define keypin 18 （按键脚的另一端接地，且需要给18脚接个上拉电阻）

整个工程arduino源码

#include <TFT_eSPI.h>  //tft库
#include <U8g2_for_TFT_eSPI.h> //汉字库头文件，主要是它

#include <WiFi.h>
#include <ArduinoJson.h>
#include <HTTPClient.h>
#include "base64.h"
#include "cJSON.h"  //网络请求与解析库

#include <driver/i2s.h>//语音输入输出库
#include "Audio.h"

//json data
char data_json[43700];  //内存不大，只能录两秒钟，设置大了，会报错
  
//音频输出
#define I2S_DOUT      25
#define I2S_BCLK      27
#define I2S_LRC       26

//文字显示
U8g2_for_TFT_eSPI  u8g2;
TFT_eSPI my_tft;

//WiFi
const char* ssid = "OK";  //你的WiFi名称
const char* password = "33333333"; //你的WiFi密码


//声音采集
//按照接线确定编号-----------------------------------------------------------------------------------------------------
#define I2S_WS 32
#define I2S_SD 35
#define I2S_SCK 33
 
// 使用I2S处理器
#define I2S_PORT I2S_NUM_0
 
// 定义缓冲区长度
#define bufferLen 16000
int16_t sBuffer[bufferLen]; //内存不大，只能录两秒钟，设置大了，会报错
//-------------------------------------------------------------------------------------------------------------------------

//kimi——api
String Kimi_url = "https://api.moonshot.cn/v1/chat/completions";

//百度文字转音频
String voice_url = "http://tsn.baidu.com/text2audio";

//文字显示函数
void TFT_print(uint16_t x,uint16_t y,String Text,uint16_t TextColor,uint8_t Size)
{
  switch(Size)
  {
    case 1:
      u8g2.setFont(u8g2_font_wqy12_t_gb2312); //12像素大小
      break;
    case 2:
      u8g2.setFont(u8g2_font_wqy16_t_gb2312); //16像素大小
      break;
  }
  u8g2.setForegroundColor(TextColor);  //字的颜色
  u8g2.setCursor(y, x); //位置
  u8g2.print(Text); //打印
}

//——————————————————————————————————————————————————————————————————————————————————————————————————————————麦克风驱动安装的函数---------------------------------
void i2s_install() {
  //设置I2S处理器配置
  const i2s_config_t i2s_config = {
    .mode = i2s_mode_t(I2S_MODE_MASTER | I2S_MODE_RX),
    .sample_rate = 8000,
    .bits_per_sample = i2s_bits_per_sample_t(16),
    .channel_format = I2S_CHANNEL_FMT_ONLY_LEFT,
    .communication_format = i2s_comm_format_t(I2S_COMM_FORMAT_STAND_I2S),
    .intr_alloc_flags = 0,
    .dma_buf_count = 8,
    .dma_buf_len = 64,
    .use_apll = false
  };
 
  i2s_driver_install(I2S_PORT, &i2s_config, 0, NULL);
}
 
void i2s_setpin() {
  // 设置I2S引脚配置
  const i2s_pin_config_t pin_config = {
    .bck_io_num = I2S_SCK,
    .ws_io_num = I2S_WS,
    .data_out_num = -1,
    .data_in_num = I2S_SD
  };
 
  i2s_set_pin(I2S_PORT, &pin_config);
}
//-------------------------------------------------------------------------------------------------------------------------------------------------------------

//---------------------------------------------------------------ai回答部分（接入kimi）------------------------------------------
String get_kimi(String question)
{
HTTPClient http1 ;
http1.setTimeout(20000);
http1.begin(Kimi_url);
http1.addHeader("Content-Type", "application/json");
http1.addHeader("Authorization", "sk-4cyiL5............................................................."); //注意得填写你的码
 String body="{\"model\":\"moonshot-v1-8k\",\"messages\":[{\"role\":\"system\",\"content\":\"你是我的AI助手小南，你必须用中文回答且字数不超过85个\"},{\"role\":\"user\",\"content\":\"" + question + "\"},{\"role\": \"assistant\",\"name\":\" 小南\", \"content\":\"\", \"partial\": true}],\"temperature\":0.3}";

int httpResponseCode = http1.POST(body);
  if(httpResponseCode == 200)
  {
    String response = http1.getString();
    http1.end();
    //Serial.println(response);
    StaticJsonDocument<1024> json1;
    deserializeJson(json1,response);
    String json_get1 = json1["choices"];
     deserializeJson(json1,json_get1);
    String message = json1[0]["message"].as<String>();
     deserializeJson(json1,message);
     String respone = json1["content"];
    //Serial.println(respone);
    return respone ;
  }
  else
  {
    http1.end();
    //Serial.println("error");
    return "你问的太快了询问不能频繁当前为一分钟三到四次询问)";//（kimi的api比较菜一分钟只能问他3个问题）
  }
}
//---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

String Voice_2_Text(); // 语音转文字的函数

#define ledPin 21
#define keypin 18

void setup() 
{
  // put your setup code here, to run once:
  Serial.begin(115200);
  WiFi.mode(WIFI_STA);

  pinMode(ledPin, OUTPUT); //led初始化
  pinMode(keypin, INPUT); //按键初始化

  digitalWrite(ledPin,HIGH); //开始时，亮灯
  my_tft.init(); //初始化
  u8g2.begin(my_tft); //将U8g2绑定到TFT
  my_tft.setRotation(2); //屏幕旋转方向（可自行修改）
  my_tft.setTextColor(TFT_DARKGREEN); //设置屏幕字颜色（用到了字库的话本句没用）
  my_tft.fillScreen(TFT_BLACK); //屏幕背景

  i2s_install(); //麦克封初始化---安装驱动
  i2s_setpin();  
  i2s_start(I2S_PORT);
  TFT_print(80,3,"Voiceinput (inx441) " ,TFT_YELLOW,1);
  delay(150);
  i2s_driver_uninstall(I2S_PORT); // 驱动卸载 （因为输出输入不能同时有，连个库的底层对应一个i2s，用到的时候在安装）


  //audio.setPinout(I2S_BCLK, I2S_LRC, I2S_DOUT);
  //audio.setVolume(12); // 0...21
  //audio.connecttohost("");  //语音输出驱动（不能在全局定义，应为没有对应的释放接口，只能在局部变量中使用，否则esp32一直重启）
 TFT_print(90,3,"Voiceinput (out) " ,TFT_YELLOW,1);//屏幕打印信息
  delay(100);

  WiFi.begin(ssid, password); //WiFi连接

  uint8_t i = 1 ;
   TFT_print(10,1,"WiFi is connecting....",TFT_WHITE,1);
   while (WiFi.status() != WL_CONNECTED) {
    TFT_print(20,i*5+1,".",TFT_WHITE,1);
    delay(800);
    i++;
    if(i>=25)
    {
      TFT_print(30,1,"WiFi can`t conect ",TFT_RED,1);
      TFT_print(40,1,"please check and again",TFT_RED,1);
      while(1){}
    }
  }
  digitalWrite(ledPin,LOW);
  String ip = WiFi.localIP().toString().c_str();
  TFT_print(30,1,"WiFi is connected",TFT_DARKGREEN,1);
  TFT_print(40,1,"IP:" + ip ,TFT_DARKGREEN,1);
  TFT_print(50,1,"Welcome:" ,TFT_WHITE,1);
  TFT_print(60,3,"The api is kimi" ,TFT_WHITE,1);
  TFT_print(70,3,"the character is CoNan" ,TFT_WHITE,1);
  delay(1500);
  my_tft.fillScreen(TFT_BLACK);
}

uint8_t voice_flag = 0 ;//是否有语音生成的状态值
String voic_get; // 文字转语音用到的get网址
void loop() 
{
  bool VAL_KEY = digitalRead(keypin);
   TFT_print(10,1,"Answer:(空闲中)      ",TFT_DARKGREEN,1);
  if (VAL_KEY ==LOW) 
  {
     delay(500);
     String str_error = "error" ;
     String get = Voice_2_Text();
      if(get.compareTo(str_error) !=0)
      {
        Serial.println(get);
        // inputText.trim();
         my_tft.fillScreen(TFT_BLACK);
        TFT_print(10,1,"Answer:(思考中)",TFT_RED,1);
        Serial.println("\n Input:"+get);

         String answer = get_kimi(get);
        Serial.println("Answer: " + answer);
        Serial.println("Enter a prompt:");
         TFT_print(10,1,"Answer:",TFT_WHITE,1);
        uint16_t len = answer.length();
        uint16_t i =0;
        uint16_t j =0;
        TFT_print(10,1,"Answer:(交谈中)      ",TFT_YELLOW,1);
        for(i=0;i<len;i=i+30)
        {
          uint16_t k=0;
           for(k=0;k<30;k=k+3)
          {
          TFT_print(22+j,5+(k/3)*12, answer.substring(i+k,i+k+3),TFT_WHITE,1);
          delay(15);
          }
          //TFT_print(22+j,5, answer.substring(i,i+30),TFT_WHITE,1);
          j+=15;
          delay(15);
        }//屏幕一个字一个字的显示的遍历
       voic_get = voice_url + "?tex=" +  answer +"&lan=zh&cuid=2579527033&ctp=1&tok=24.d9c2c.........................&per=111";//+号的&tok=...后面的部分得填写你的tok码
       delay(20);
      voice_flag = 1;
      }else
      {
        TFT_print(10,1,"Answer:(出错了)      ",TFT_RED,1);
        TFT_print(25,1,"服务器端错误      ",TFT_YELLOW,1);
      }
       Serial.println("voice_flag is:");
       Serial.println(voice_flag);
  }
  if(voice_flag == 1)
    {
    voice_flag = 0;
    Audio audio;
    audio.setPinout(I2S_BCLK, I2S_LRC, I2S_DOUT);//安装驱动
    audio.setVolume(12); // 0...21 设置音量大小
    const char* voice_url = voic_get.c_str(); //转化数据类型
    audio.connecttohost(voice_url); //get请求网络上百度云生成的语音数据
     TFT_print(10,1,"Answer:(空闲中)      ",TFT_DARKGREEN,1); //屏幕显示
    while(1)
    {
      audio.loop(); //循环播放
      VAL_KEY = digitalRead(keypin); //检测按键值
      if(VAL_KEY ==LOW )
      {
        break; //按下时为退出
      }
    }
    }
}


//--------------------------------------------语音识别函数--------------------------------------------------------------


String Voice_2_Text()
{
  //安装麦克风驱动-------------------------------
  i2s_install(); //麦克封初始化
  i2s_setpin();
  i2s_start(I2S_PORT);
  //-----------------------------------------------

  memset(data_json, '\0', strlen(data_json));  //将数组清空
  TFT_print(10,1,"Answer:(聆听中)      ",TFT_BLUE,1);
  size_t bytesIn = 0;
  digitalWrite(ledPin,HIGH);
  esp_err_t result_voice = i2s_read(I2S_PORT, &sBuffer, 2*bufferLen, &bytesIn, portMAX_DELAY); //应为该函数是用的左右声道同时采集，我们只有一个声道，所以告诉函数采用长度为实际数据的两倍数据长度，这样就可以将所有数据填满
  // result = i2s_read(I2S_PORT, &sBuffer, 2*bufferLen, &bytesIn, portMAX_DELAY);
   if (result_voice == ESP_OK)//采样完成标志位
   {
      TFT_print(10,1,"Answer:(识别中)      ",TFT_BLUE,1);
     digitalWrite(ledPin,LOW);

      i2s_driver_uninstall(I2S_PORT);//麦克封驱动卸载
       Serial.println("驱动卸载");
        strcat(data_json, "{");
        Serial.println("json写入");
       strcat(data_json, "\"format\":\"pcm\",");
        delay(10);
        Serial.println("json写入1");
       strcat(data_json, "\"rate\":8000,");
        Serial.println("json写入2");                                                                        //采样率    如果采样率改变了，记得修改该值，只有16000、8000两个固定采样率
       strcat(data_json, "\"dev_pid\":1537,"); 
       Serial.println("json写入3");                                                                       //中文普通话
       strcat(data_json, "\"channel\":1,");
       Serial.println("json写入4");                                                                           //单声道
       strcat(data_json, "\"cuid\":\"2579527033\","); 
       Serial.println("json写入5");                                                                    //识别码    随便打几个字符，但最好唯一
       strcat(data_json, "\"token\":\"24.d9c2c44461f80b0.....................................................\","); //这里填写你的tok码
        Serial.println("json写入6");     //token	这里需要修改成自己申请到的token
        strcat(data_json, "\"len\":32000,"); 
        Serial.println("json写入7");                                                                            //数据长度  如果传输的数据长度改变了，记得修改该值，该值是ADC采集的数据字节数，不是base64编码后的长度
        strcat(data_json, "\"speech\":\"");
        Serial.println("json写入8");    
        delay(20);
        strcat(data_json, base64::encode((uint8_t*)sBuffer, sizeof(sBuffer)).c_str());  //base64编码数据
        delay(20);
        Serial.println("json写入9"); 
       strcat(data_json, "\"");
       Serial.println("json写入10"); 
        strcat(data_json, "}"); 
         Serial.println("json以安好");
      int httpCode;
      HTTPClient http2;
      http2.setTimeout(5000);  //设置超出响应时间
      http2.begin("http://vop.baidu.com/server_api");  //https://vop.baidu.com/pro_api 语音转文字api
      http2.addHeader("Content-Type", "application/json");
      httpCode = http2.POST(data_json);
      Serial.println("json以发送");
    if (httpCode == 200)
     {
        if (httpCode == HTTP_CODE_OK) 
        {
          Serial.println("接收正确");
          String  response = http2.getString();
          http2.end();
          Serial.println(response);
          DynamicJsonDocument jsonDoc(1024);
          // Parse JSON response
          // DynamicJsonDocument jsonDoc(512);
          deserializeJson(jsonDoc, response);
          String question = jsonDoc["result"][0];
          // 访问"result"数组，并获取其第一个元
          // 输出结果
          Serial.println(question);
          return question ;
        } else {
          Serial.printf("[HTTP] GET... failed, error: %s\n", http2.errorToString(httpCode).c_str());
          return "error" ;
        }
     }
     else
     {
       Serial.println("接收有误区");
       return "error";
     }

  }
}
//---------------------------------------------------------------------------------------------------------

存在的问题

我只是把他基本功能完成了，还有很多地方可以优化，且到了晚上开机第一次
使用时都是报错，之后就可以用了。如果您有什么好的办法与优化欢迎留言。
瑾sing
关注
ST7735_ESP8266:具有对ESP8266的Arduino ESP支持的Adafruit ST7735 LCD库
05-03
ST7735_ESP8266 具有对ESP8266的Arduino ESP支持的Adafruit ST7735 LCD库 此版本的Adafruit ST7735 LCD库可与Arduino ESP一起使用。 Arduino ESP在这里可用： : 。 该代码尚未修改，仅是可在ESP8266上使用的较早版本。 / ***************************************************** **这是Adafruit 1.8英寸SPI显示器的库。 该库可与带有SD卡的Adafruit 1.8英寸TFT Breakout配合使用----> 1.8英寸TFT防护板----> 1.44“ TFT突破----> 以及Adafruit原始的1.8” TFT显示屏----> 查看上面的链接以获取我们的教程和接线图这些显示器使用SPI进行通信，需要4或5个
实现对接大模型的AI对话微信小程序
weixin_72309717的博客
05-31 4228
微信小程序接入后台Deepseek
XIAO ESP32S3之AI应用
professionalmcu的专栏
11-28 879
教程:XIAO ESP32S3之套件简绍。
ESP32智能设备：蓝牙音箱、AI语音助手、环境监测与调节以及智能控制，基于BLE与MQTT技术（代码详解）
嵌入式极客小张
08-20 1354
在智能家居的快速发展中，ESP32作为一款功能强大的开发板，凭借其蓝牙和Wi-Fi双模连接能力，成为实现多种智能应用的理想选择。本项目旨在构建一个功能丰富的智能设备，集成蓝牙音箱、AI语音助手、智能设备控制器以及环境监测与调节等功能。我们将使用BLE（蓝牙低功耗）技术实现音频播放，以及MQTT协议进行设备控制和数据传输。通过本项目，您将学习到硬件设计、嵌入式编程、音频处理、语音识别、物联网平台等多项技术，助力您打造一个智能化的居住环境。
嵌入式人工智能ESP32（1-初步上手使用）
u010152658的博客
08-11 6803
ESP32还有一个特性是易于开发：ESP32支持Arduino开发环境和MocroPython，开发者可以使用熟悉的Arduino、MicroPython语言和工具进行开发。ESP32还提供了丰富的软件开发工具和文档，方便开发者快速上手。
使用ESP32S3模组上支持OpenAi的chatgpt、Kimi、通义前问、文心、豆包、腾讯混元等所有主流大模型
四博智联的技术博客
08-27 1325
该协议旨在通过蓝牙连接，将Wi-Fi配置信息（如SSID和密码）从微信小程序或APP传输到ESP32-S3设备。ESP32-S3设备使用接收到的配置信息连接到指定的Wi-Fi网络，并将连接结果返回给小程序或APP。以下是蓝牙配网的协议设计和实现代码的详细说明，基于ESP32-S3和微信小程序或APP的蓝牙连接。我们将首先描述协议设计，然后提供实现代码。基于ESP32-S3,支持离线语音唤醒，支持在线AI智能聊天，支持国内外三十多种大模型及私有部署的大模型，支持Cozylife APP蓝牙配网及模型选择。
ESP32-S3 边缘人工智能｜使用加速度计数据和 ESP-DL 识别人体活动
乐鑫 Espressif
06-09 2031
按下列步骤和步骤说明在 ‘model_define.hpp’ 中定义模型。在。
ESP32 MicroPython AI摄像头应用⑩
lu330274924的博客
11-21 776
对于AI功能我们已经移植好MicroPython的库到小车固件，内置有6种模型，分别是：移动检测、人脸识别、人脸检测、猫脸检测、颜色识别、二维码识别。编写程序后点击运行，稍等几秒钟后可以看到LCD显示屏显示图像，在软件调试界面有数据不断打印。使用摄像头采集图像并在LCD显示屏显示，启动AI移动检测模型检测并读取检测到的变化像素大小，如果变化的像素超过检测阈值，图像显示会在左上角显示出绿色实心矩形。移动检测用于检测摄像头区域物体变化，使用移动检测可以作为物体闯入监控，下面实验我们来学习移动检测的使用。
MicroPython 环境下使用 ESP32 连接百度 AI 大模型
Wang2869902214的博客
06-13 1815
本文详细介绍了如何在 MicroPython 环境下，利用 ESP32开发板连接百度AI大模型。初步从硬件准备（ESP32开发板）和软件配置（MicroPython固件和Thonny IDE）开始，指导读者设置一个适合连接百度AI大模型的开发环境。随后，文章通过实际的代码示例，展示了如何在ESP32上实现WiFi连接以及如何构造和发送HTTP请求至百度AI大模型API，包括如何合适地处理包含中文的JSON数据。 此外，文章还特别强调了在数据处理过程中的关键注意点，比如必须确保数据以utf-8格式编码
【小白福利】 基于esp32的小爱同学的语音控制简介
m0_51812091的博客
04-20 2633
点灯是一套专业且易用物联网解决方案，提供了服务器、应用、设备端sdk支持。基于高性能异步框架开发的服务器端可以承载大量设备连接，让设备所有者方便的进行设备管理；简单便捷的应用配合多设备支持的sdk，可以让开发者在3分钟内实现设备的接入。点灯服务有三个版本，社区版开源且免费，让大家可以体验到点灯方案的特点和优势；云服务版提供更多增值服务与功能，且有效降低客户的项目实施成本，让客户更快的进行物联网升级；商业版可进行独立部署，可以满足客户更多样的需求；
嵌入式esp32连接AI大模型对话
最新发布
10-14
本项目使用esp32接入讯飞星火大模型、豆包大模型（流式调用）、通义千问大模型实现语音对话聊天功能，支持在线语音唤醒、连续对话、音乐播放等功能，同时外接了一块显示屏实时显示对话的内容。
esp32s3 gpt tft（仅支持英文输出）
06-14
在本主题中，我们主要探讨ESP32-S3如何利用GPT(Generic Purpose Timers)功能来驱动TFT显示器，同时关注AI硬件接入的相关知识点。 GPT，或通用定时器，是微控制器中常见的一种硬件资源，它能够提供精确的时间间隔...
arduion esp8266 esp32拓展
04-30
3. **机器学习与人工智能**：ESP32的高性能使其可以运行轻量级的机器学习模型，如TensorFlow Lite，实现本地化的AI应用，如语音识别、图像分类等。 4. **无线通信**：除了Wi-Fi，ESP32还支持蓝牙和蓝牙低功耗（BLE...
使用Arduino+IDE进行ESP32-CAM视频流和人脸识别.docx
11-20
ESP32-CAM是一款基于ESP32-S芯片的微型摄像头模块，主要应用于物联网(IoT)项目中的视频流和图像处理。它集成了OV2640摄像头，可支持最高1600x1200像素的图像分辨率，同时具备Wi-Fi和蓝牙功能，便于无线数据传输。该...
STM32+ESP8266+pcb+OneNet+神经网络
01-04
标题中的“STM32+ESP8266+pcb+OneNet+神经网络”揭示了这个项目的关键组成部分，这是一个融合了微控制器、Wi-Fi模块、硬件设计、物联网平台以及人工智能算法的综合应用。 STM32是意法半导体（STMicroelectronics）...
XIAO ESP32S3之AI教程
professionalmcu的专栏
12-01 1108
参考资料：
ESP32聊天机器人之一
懒人日志
09-14 905
后面打算把屏幕利用起来，根据场景做一些可爱的表情，然后加上摄像头，这样组成一个机器人的控制中枢，有麦克风做耳朵，有喇叭说话，有屏幕做表情，有摄像头做眼睛，然后扩展一些红外，wifi，蓝牙控制家里的智能电器，装上舵机做手脚。通过语音切换大模型，需要提前在代码里配置，目前迅飞，豆包，阿里都有免费的，申请后配置一下参数。语音指令主要解析为操作指令，比如打开空调，打开电灯，室温温度，天气情况，播放音乐，播放幻灯片，切换大模型，调整音量，打印日志，取消打印等，可以按需要添加修改，没有上限。后面还想接个T 卡。
用ESP32构建基于大模型的聊天机器人
qq_31400983的博客
10-02 1011
这是一款用ESP32制作的聊天机器人，可连接国内主流大模型，可自定义唤醒词，支持角色定义。
unity通过webapi连接websocket实现讯飞语音识别与合成
06-06
Unity通过WebAPI与WebSocket的连接，实现了与讯飞语音识别与合成的功能。这个连接的过程中，Unity首先使用WebAPI向讯飞开放平台发送语音请求，获取到参数后发送语音数据。语音数据通过WebSocket封装后发送给讯飞云API，在云端进行语音识别与合成的处理。处理结果再通过WebSocket返回给Unity，最终在游戏场景中实现了语音识别与合成的功能。 这种在线语音识别与合成的方式给游戏开发者带来了极大的方便，使得游戏互动更加自然。无需使用繁琐的文本输入方式，玩家可以直接与游戏进行语音交互。同时，这种方式也为游戏开发的智能化提供了可能，通过语音识别在游戏中添加更多和交互相关的功能。 然而，这种在线方式的缺点也不容忽视。因为依赖云端处理，必须保持网络连接，如果网络信号不好或者服务器端出现问题，可能会造成语音识别与合成的不稳定性。另外，在一些游戏场景下，语音输入的灵敏度和准确度也是需要考虑的问题。总之，语音识别与合成是游戏开发的新趋势之一，需要游戏开发者在实践中不断探索和创新。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值