分享AI芯片开发经验

前面发了很多在大模型语音交互+智能硬件相关的技术文章，这篇给大家介绍一下大模型语音交互示例的硬件和上手概况。

介绍离线语音交互方案，从端侧芯片功能、端侧常见技术等角度剖析方案要点

本示例工程中默认启用了坐姿检测功能，当摄像头识别到不良坐姿时，开发板上也将闪烁红色 LED 进行提醒，同时，我们也可通过 PC 工具查看实时拍摄的图像与坐姿检测结果。本示例运行时，摄像头将持续拍摄图像并并送入坐姿检测算法进行处理，当检测到画面中出现不良坐姿(如趴桌、手托脸等)时，将闪烁红色 LED 进行提醒，如下图。，可通过唤醒词 —— “小美小美” 对设备进行唤醒，当听到 “在呢” 的提示音后，即可正常进行语音输入。网络：通过 WIFI 芯片接入网络，对接聆思大模型平台，支持与大模型进行对话。

通过本次操作您将掌握如何部署pythorch-cifar100示例工程，以及如何替换使用您自己的模型，并了解到推理接口的相关信息。

预留了一个可用于烧录与输出应用信息的串口，当检测到人脸之后，它就会不停的输出检测到的信息，除了有没有人脸，还有人脸在画面中的、xy坐标、大小三个方向的偏转角信息等等，这样就可以把相机当做一个传感器模块和其他硬件模块搭配，做一些更好玩的应用。，PCBA正中间有一颗聆思 CSK6011A 型号的芯片作为主控，左侧是用于存储固件的 Flash，剩下的则是用于交互的按键与晶振、阻容、LED等器件。坐姿检测、头肩跟踪、手势识别、物体分类等AI能力SDK，需要哪个烧录哪个，详情可以参考SDK目录下的README文件。

gpio_led 目录下的CMakeLists.txt，把开发板的板型名 csk6_duomotai_devkit 填入下图所示位置。本文介绍怎么通过聆思CSK6大模型开发板的GPIO控制RGB灯亮灭，演示视频来自开发者分享，详细过程请见文末视频。至此用聆思CSK6大模型开发板控制RGB灯完成，接下来会更新怎么用星火大模型语音控制CSK6开发板上的灯。修改模板代码调用的函数，在下图对应位置把 &led 改为红灯的函数 &rgb_r。然后会在命令行当前目录下生成 gpio_led的目录，把这个目录复制到。

用stable diffusion 在聆思CSK6大模型开发板上自己lora图片。

在这个智能电子积木平台上，通过串口，连接到积木块探测模块，获取当前连接的积木功能块编号，然后将该编号发送到云端，云端根据当前对应的功能设置，调用积木块编号对应的处理逻辑，处理完毕后，返回结果到智能电子积木平台，进行语音播放或者功能执行。简单几步即可轻松打造自己的专属大模型！在这个智能电子积木平台上，通过串口，连接到积木块探测模块，获取当前连接的积木功能块编号，然后将该编号发送到云端，云端根据当前对应的功能设置，调用积木块编号对应的处理逻辑，处理完毕后，返回结果到智能电子积木平台，进行语音播放或者功能执行。

CSK6视觉语音AI开发套件支持10+种AI算法，如星火大语言模型语音交互、坐姿识别、人脸识别、活体检测等，也支持自主模型训练与部署，提供zephyr3.4的开源SDK

本文是对上一篇图像分类示例做的一个拓展，在上一篇文章中，我们实验是将图片从电脑上用Python脚本把它提取一个特征，然后把特征给打包到固件里面，最后再来做这个推理结果。在本文的示例中，我们会从视觉开发套件的摄像头采集一个图像，然后把这一步提取特征的操作在CSK6芯片上来进行，然后把这个特征文件送给这个模型进行推理，最后来得出一个实时的推理结果。

一文了解Zephyr系统对无线网络的支持情况，和Zephyr的无线协议栈接入WIFI与蓝牙芯片的几种实现方法

在《LNN工具链详解：在CSK6上运行你自己的AI算法》中通过LNN工具链获得了自己的算法模型，并在PC上使用test_thinker进行推理运行，本篇承接介绍如何在CSK6芯片上运行输出的算法模型。

了解芯片特性是做好嵌入式产品开发的基础，大家可以在使用CSK6开发板进行实践时可以结合此篇评估芯片是否可以支持需求。

通过实操聆思科技CSK6系智能主控芯片来讲解语音交互最小智能硬件系统电路设计怎么实现。

Zephyr官方虽然已提供了给开发者去构建应用工程的工具，但为了让开发者获得一个顺畅高效的开发体验环境 ，聆思根据CSK6的芯片方案量身打造了开发工具。本文主要给大家介绍一下这套配套工具。

介绍聆思科技推出的新一代AI芯片CSK6，包括参数概要描述以及不同型号之间的差异对比。