- 博客(69)
- 收藏
- 关注
RSS订阅
原创 大模型+AI智能语音交互硬件开发上手建议路径和资料汇总
该上手流程为通用流程，有大模型使用经验的用户，按照本文提供的资料即可进行大模型+AI智能语音交互硬件的相关实操。方案支持提示词优化、接入私有服务和其他大模型，建议在完成上手实操熟悉相关功能后再进行其他二次开发。
2024-12-26 15:02:06
6187
3
原创 手把手教你把coze扣子智能体接入大模型开发板实现听新闻自由
把扣子coze平台上的娱乐新闻等智能体接入CSK6大模型语音开发板。本篇以接入头条新闻为例，分享具体的接入步骤，大家按照文档步骤操作即可。
2025-04-02 11:42:58
686
原创 CSK6大模型语音开发板接入DeepSeek排错流程参考
这篇文章基于CSK6大模型语音开发板接入火山引擎DeepSeek为例，告诉大家怎么根据表象信息快速定位和解决智能硬件接入满血版DeepSeek-R1问题
2025-03-09 19:08:26
877
原创 手把手教你用聆思CSK6大模型开发板接入火山引擎满血版DeepSeek-R1
本篇以聆思CSK6大模型开发板接入火山方舟/火山引擎满血版DeepSeek-R1为例，分享具体的接入步骤，只需要从云端更改大模型接入节点，而无需去修改硬件端。
2025-02-24 22:13:29
1731
原创 手把手教你用聆思CSK6大模型开发板接入硅基流动华为昇腾满血版DeepSeek
本篇以聆思CSK6大模型开发板接入硅基流动华为昇腾版DeepSeek大模型为例，分享具体的接入步骤，大家按照文档步骤操作即可。只需要从云端更改大模型接入节点，而无需去修改硬件端。
2025-02-21 17:24:20
981
原创 实操给触摸一体机接入大模型语音交互
确保连接线路稳定且正确，开发板 PA00引脚连接触摸一体机模块的 RX 端（黄色线），PA01引脚连接触摸一体机模块的 TX 端（橙色线），同时开发板的GND与串口屏的GND互联（红色线杜邦线）。触摸一体机通过串口接入CSK6大模型开发板，不仅可以实现聊天文字实时显示，还可以借助CSK6大模型开发板的AI能力在触摸一体机上实现更多功能，同时还降低了方案开发难度和工作量，更快速的验证产品功能可行性。语音交互模块：CSK6大模型语音开发板（接入自定义的私有大模型知识库，生成和接入方式可以参考前面发布的文章）
2025-02-07 18:17:13
1029
原创 手把手教你用聆思CSK6大模型开发板接入深度求索的DeepSeek大模型
本篇以聆思CSK6大模型开发板接入DeepSeek大模型为例，分享具体的接入步骤，大家按照文档步骤操作即可，只需要从云端更改大模型接入节点，而无需去修改硬件端。
2025-02-07 17:24:38
2354
1
原创 详解用大模型超拟人语音做桌面AI宠物/机器人的个性化能力
目前聆思平台的超拟人模板实现了快速响应、声纹识别、知识库问答、兜底闲聊、超拟人TTS等功能，本文基于这几项功能进行详细解说。
2025-01-10 11:15:34
1240
原创 实操给桌面AI语音助理（大模型语音开发板）更换自定义唤醒词
前面分享了怎么用CSK6大模型语音开发板实现桌面机器人和给其他硬件对接智能语音，当更改音色后默认唤醒词可能跟音色人设不符，这时就需要更改为自定义的名字，这篇就介绍一下怎么通过官方提供的工具实操更换唤醒词。
2025-01-03 13:35:50
1170
原创 实操给桌面机器人加上超拟人音色
前面我们讲了怎么用CSK6大模型开发板做一个桌面机器人充当AI语音助理，近期上线超拟人方案，不仅大模型语音最快可以1秒内回复，还可以让我们的桌面机器人使用超拟人音色、具备声纹识别等能力，本文以csk6大模型开发板为例实操怎么把超拟人音色用起来。更接近人类的语音表达和情感交流能力，因此在更多场景中能够提供更好的用户体验，如智能客服、语音助手、有声阅读、陪伴机器人等，能够人带来更加温暖、亲切、自然的交互感受，进一步拓展语音合成技术的应用范围和深度。2.完成创建后找到刚创建的应用，点击。
2024-12-19 16:39:46
953
1
原创 实操给自助触摸一体机接入大模型语音交互
在本文方案中把CSK6大模型语音开发板作为一体机的语音交互模块，先将语音数据传输到大模型进行处理，再将大模型生成的回答转换为语音输出和在触摸一体机屏幕上显示文字结果。
2024-12-13 17:45:47
1881
原创 用CSK6大模型开发板自定制一个能说会唱的桌面聊天机器人/AI智能语音助理
本文以聆思CSK6大模型开发板为例，讲解怎么定义人设、修改发音人音色、增加技能、挂载私有知识库、让您的桌面小伙伴更加智能、更加贴近用户的需求。
2024-11-08 12:54:58
1316
原创 大模型语音视觉开发板外壳3D打印资源介绍和重点结构讲解
但由于麦克风和无线信号都容易被外壳屏蔽，为保证语音交互质量，在对应部位做了镂空。同时预留驻极体麦克风槽位，方便固定驻极体麦克风。
2024-10-16 16:33:20
1081
原创 聆思CSK6大模型语音开发板改造：延长板载麦克风（外接驻极体麦克风）
不少开发者朋友想把CSK6大模型开发板接到自己的智能音响、机器人、机器狗等产品上使用，本文针对这类需求图文讲解怎么把麦克风进行延长。
2024-10-11 14:58:13
696
原创 智能硬件语音交互接入大模型知识库的排错指引
前篇文章讲了通过三个步骤把知识库接到智能语音硬件上-，这篇讲一下语音流程配置失败时该怎么去定位问题和解决。
2024-09-27 12:08:03
921
原创 实操在聆思CSK6大模型开发板的英文评测SDK中自定义添加单词、短语、句子资源
三种类型，用户在选择好类型后，可根据屏幕上的提示进行语音输入，评测算法将对输入的英文语音进行精准识别，并对单词的发音、错读、漏读、多读等方面进行评估。本文将详细介绍在聆思CSK6大模型语音视觉开发板上，如何替换英文评测示例中的单词、短语和句子，从而让您有更好的AI应用体验。文件中，更改替换的单词、短语、句子以及对应的英标。短语和句子的英标必须精细到每个单词的英标，并且用。文件中，更改所替换的单词、短语和句子的ui显示。进入lcd-csps\src\ui\ui.c。更改单词、短语和句子的ui显示。
2024-09-05 15:21:42
548
原创 聆思CSK6大模型语音视觉开发板接入AIUI技能实操（控制风扇开关）
风扇控制的提示词的作用是从用户的命令中提取关键信息（打开/关闭）来调整开关状态，打开即为“1”，关闭即为“0”，采用自然语言处理（NLP)比采用通配符匹配有更好的识别效果。若最近3轮对话没有包含图生文对话内容，则走大模型意图落域，判断用户是否想要进行“画画”，若落域结果为“画画”，则走文生图的逻辑，包括生成用户期望的图片以及TTS合成等。我们新增了一条意图，为风扇控制，若用户意图为风扇控制，则走AIUI控制的逻辑，端侧增加nlp帧，若命中AIUI技能，则成功下发指令，反之则失败。
2024-08-26 14:42:59
1423
原创 聆思CSK6大模型语音视觉开发板接入AIUI技能实操（语音控制灯的开关）
灯控（第二个分支）的分支是再次利用提示词（灯控提示词）调用星火大模型从用户的语音内容中提取关键的控制信息，如“打开/关闭灯光”控制GPIO高低电平来实现控制rgb灯的状态，最后一个分支是闲聊分支是用于完成语音的基本问答功能。然后对其进行任务设定（“你需要将用户的句子归为“灯控”、“画画”、“闲聊”中的一类”）。风扇控制的提示词的作用是从用户的命令中提取关键信息（打开/关闭）来调整开关状态并响应rgb灯的十六进制值，打开即为“1”，关闭即为“0”，采用自然语言处理（NLP)比采用通配符匹配有更好的识别效果。
2024-08-20 10:23:33
1295
原创 智能硬件大模型语音交互流程自定义编排（进阶篇）
在调试阶段和开发过程中，可以通过输入的触发器，经过一些function的功能节点来编写想要的业务功能，并混合平台封装好的一些常用高频功能节点进行应用编排，再通过debug节点以及其他通用能力节点和异常捕获等来进行复杂应用的开发。触发后，数据除了会走到提示词节点，还会同步到complete节点，这时可以通过debug节点捕获到输入节点完成后的钩子回调，去做一些更复杂的应用处理。通过一些function节点和模型节点的调用，可以利用网络节点去实现更复杂的链路功能，如通过编排应用去实现特定的接口能力。
2024-08-16 14:21:39
727
原创 聆思CSK6大模型开发板语音唤醒加载GIF动画
这里原示例中是语音唤醒之后加载语音唤醒“小聆”之后用来模拟声音的波浪型gif动画，如果我们想要它加载其他GIF动画，例如“会动的眼睛”，只需要将你想要替换的GIF动画的格式在LVGL官网转换为C语言数组，然后将这部分替换即可。本篇文章主要介绍基于聆思CSK6大模型开发板的语音交互多模态实例进行二次开发，实现在语音唤醒后在屏幕展示GIF动画表情。通过LGVL官网的工具将GIF转换为适合嵌入式系统使用的格式。（这里的使用的GIF分辨率为96×36））根据自己的SDK保存路径打开。选择你想要转换的GIF，选择。
2024-08-15 17:51:27
956
原创 智能硬件大模型语音交互流程自定义编排（基础篇）
本篇文章主要讲解怎么在聆思大模型平台LSPlatform上实现自定义大模型应用开发，包含云端节点的输入输出，以及怎样在实际应用落地的时候怎么做调试、debug和错误捕获。如果想了解有哪些现成示例可以使用，可以参考之前分享的文章。
2024-08-08 17:28:30
651
原创 聆思CSK6大模型开发板语音控制风扇（上）
本文介绍如何实现大模型+语音交互对风扇实现开关控制，示例使用的硬件是聆思CSK6大模型开发板，大模型接的是星火大模型。本文将先详细介绍大模型云端从获取交互语音到下发控制指令的全过程，包括整合上下文、配置提示词、语义意图分类、提取关键信息以及控制指令的执行等关键环节。
2024-08-08 15:31:17
845
原创 手把手教你用聆思CSK6大模型开发板接入通义千问/DashScope模型
近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入通义千问为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。
2024-07-23 16:08:22
1236
原创 手把手教你用聆思CSK6大模型开发板接入智谱清言：ChatGLM
近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入智谱glm为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。配置你需要调用的大模型应用，完成配置后，用户即可体验。
2024-07-23 16:07:56
1210
1
原创 手把手教你用聆思CSK6大模型开发板接入豆包/火山方舟大模型
近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入豆包为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。
2024-07-23 15:35:57
2905
8
原创 手把手教你用聆思CSK6大模型开发板接入Kimi
近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入Kimi为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。
2024-07-23 15:35:04
1058
1
原创 手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型
多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入文心一言为例，分享具体的接入步骤，大家按照文档步骤操作即可。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。”，则选择“导入副本”即可。
2024-07-22 16:54:34
1173
1
原创 聆思CSK6大模型+AI交互多模态开源SDK介绍
本示例工程中默认启用了坐姿检测功能，当摄像头识别到不良坐姿时，开发板上也将闪烁红色 LED 进行提醒，同时，我们也可通过 PC 工具查看实时拍摄的图像与坐姿检测结果。本示例运行时，摄像头将持续拍摄图像并并送入坐姿检测算法进行处理，当检测到画面中出现不良坐姿(如趴桌、手托脸等)时，将闪烁红色 LED 进行提醒，如下图。，可通过唤醒词 —— “小美小美” 对设备进行唤醒，当听到 “在呢” 的提示音后，即可正常进行语音输入。网络：通过 WIFI 芯片接入网络，对接聆思大模型平台，支持与大模型进行对话。
2024-06-18 16:45:41
1262
1
原创 聆思CSK6大模型开发板视觉识别类开源SDK介绍
按键，此时固件会将当前摄像头前检测到的人脸与已录入的人脸特征进行比对，若对比成功(命中已录入的人脸特征)，屏幕中圈中人脸的框将变为绿色，同时开发板上的LED颜色将变为绿色，表示人脸特征比对通过，并在屏幕上显示。CSK6 大模型开发套件可检测图像中人物的坐姿情况，并对各种不良的坐姿进行识别，当画面中有坐姿信息时，显示屏上将实时对人物的关键骨骼点进行标注并显示该人物的包含手、身体状态在内的坐姿检测结果。，可以通过开发板上的按键操作进行人脸注册、脸识别，并通过图像预览工具查看摄像头的画面与输出结果。
2024-06-12 15:12:56
1189
原创 聆思CSK6大模型开发板英语评测类开源SDK详解
具备丰富语音图像功能与硬件外设的开发板，采用有着丰富组件生态的 Zephyr RTOS 作为操作系统，默认配套开箱即玩的 AI 应用，也可以配合聆思的模型训练推理工具 LNN 将自己的算法模型部署至芯片上，构建自己的 AI 应用，CSK6 大模型开发套件可以对用户通过语音输入的英文单词进行精准识别，并对单词的发音、错读、漏读、多读等方面进行评估，进行音素级的识别，根据用户的发音给出相应的建议和纠正，帮助用户更好地掌握单词的发音。评测为例，进入该模式后，固件将给出若干个英文单词，可点击右下角。
2024-06-07 16:25:10
1096
原创 手把手教你把训练好的算法模型部署到聆思CSK6大模型开发板上
通过本次操作您将掌握如何部署pythorch-cifar100示例工程，以及如何替换使用您自己的模型，并了解到推理接口的相关信息。
2024-05-31 17:08:56
754
原创 手把手教你做一个成本40元不到的人脸识别小相机
预留了一个可用于烧录与输出应用信息的串口，当检测到人脸之后，它就会不停的输出检测到的信息，除了有没有人脸，还有人脸在画面中的、xy坐标、大小三个方向的偏转角信息等等，这样就可以把相机当做一个传感器模块和其他硬件模块搭配，做一些更好玩的应用。，PCBA正中间有一颗聆思 CSK6011A 型号的芯片作为主控，左侧是用于存储固件的 Flash，剩下的则是用于交互的按键与晶振、阻容、LED等器件。坐姿检测、头肩跟踪、手势识别、物体分类等AI能力SDK，需要哪个烧录哪个，详情可以参考SDK目录下的README文件。
2024-05-29 17:54:56
1906
原创 【聆思CSK6大模型开发板教程】通过GPIO控制RGB灯
gpio_led 目录下的CMakeLists.txt，把开发板的板型名 csk6_duomotai_devkit 填入下图所示位置。本文介绍怎么通过聆思CSK6大模型开发板的GPIO控制RGB灯亮灭，演示视频来自开发者分享，详细过程请见文末视频。至此用聆思CSK6大模型开发板控制RGB灯完成，接下来会更新怎么用星火大模型语音控制CSK6开发板上的灯。修改模板代码调用的函数，在下图对应位置把 &led 改为红灯的函数 &rgb_r。然后会在命令行当前目录下生成 gpio_led的目录，把这个目录复制到。
2024-05-24 16:07:16
675
转载 【多模态大模型开发】使用智谱AI替换聆思开发板自带的图片识别能力
前言这是简单的一个流程上的POC，如果需要详细的教程欢迎大家持续关注。1. 创建本地智谱AI应用安装SDK安装好SDK我们可以写一个方法，用于检测出我需要的实例，例如我输入：你能帮我查询2024年5月1日从无锡到漠河的火车票吗？为了能让聆思开发套件生成同样格式的请求，我需要创建一个聆思的应用。2. 创建聆思大模型平台应用我们先简单的编排一下，测试一下环境点击右上角的部署后，我们可以在首页拿到我们的测试连接接下来我们创建一个Python脚本进行测试。
2024-05-08 17:16:35
548
转载 【多模态大模型开发】集成Coze调用GPT-4
coze-discord-proxy 服务实现了代理用户在Discord频道中发送信息，并调度两个Discord Bot(一个关联 Coze Bot，一个用来监听Discord消息)。我们需要在 Discord 平台创建两个 Bot,并获取它们的token，为了方便区分我们姑且称为watch bot 和 coze bot，watch bot 用于监听消息后续需要将它的token配置到环境变量中，coze bot 用于cozen.com 平台发布bot到discord。我们的操作是删除再重新创建。
2024-05-08 16:45:33
625
转载 【多模态大模型开发】 根据天气绘制图片
收到视觉语音大模型 AI 开发套件( CSK6-MIX )，学习基础的大模型开发例子，根据官方的大模型示例实现一个小例子，通过询问AI 某地天气，AI 大模型通过云端获取天气信息返回语音播报，并根据语音信息绘制当地天气信息图片。（4）将提示词和API key填好后，就可以点击部署，然后创建产品，导入设备id，通过命令将id读取后放入一个txt文件内，然后导入。复制产品的id和密钥，通过命令写入开发板，然后就可以进行大模型通话了。（2）通过星火大模型获取天气信息后，增加绘图处理，和语音下发。
2024-05-08 16:35:15
120
转载 【多模态大模型开发】旅游向导体验
提供了出厂固件，用户按照文档指引，搭建好开发环境，完成lisa zep命令行工具的安装后，即可在windows命令终端窗口中使用“lisa zep exec cskburn -s \\.\COMx -C 所在串口号 -b 1500000 0x000000 llm_zephyr.bin”对命令执行的所在目录下的出厂固件“llm_zephyr.bin”进行烧写。完成编排配置后，点击右上角的“部署”，然后返回到“应用”界面，点击“部署生产”，这里就将刚刚部署完的应用从测试环境提交到生产环境。
2024-05-08 16:04:54
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人