AI-Talk开发板SDK

一、说明

        可以在Windows、Ubuntu、macOS安装和编译SDK。此文章只介绍在Ubuntu下安装和编译SDK。

其它方式可参考聆思官方环境搭建教程。
 

二、环境搭建

1、安装依赖

安装git和wget软件包：

sudo apt install --no-install-recommends git wget

如果已安装就跳过此步，可以使用git --version、wget --version查看当前系统是否已安装此软件包。

2、下载离线安装包

wget https://cdn.iflyos.cn/public/cskTools/csk6_integration_installer_linux_v2.0.0_24012201.tar.xz

3、解压安装包

tar -xvf csk6_integration_installer_linux_v2.0.0_24012201.tar.xz

 4、安装

cd lisa_zep_v2.0.0
./install.sh

注意：需要执行命令的有用户在sudo组，且非root用户。  

执行结果：

✔ 环境安装
=> Completed with GREAT SUCCESS! Try and run command 'lisa info zephyr'
====== COMPLETED ======

 5、检查开发环境

执行lisa命令：

lisa info zep

 命令输出结果：

huochaigun@ecs-361731:~/lisa_zep_v2.0.0$ lisa info zep

Operating System - #102-Ubuntu SMP Wed Jan 10 09:33:48 UTC 2024, version 5.15.0-92-generic x64

@listenai/lisa - 2.6.1

Account - 未登录或登录已过期

Node.js environment
  Node.js - v16.14.0
  npm - 8.3.1
  yarn - 1.22.19

Global environment
  git - git version 2.34.1

Plugin info
  zep - 2.0.0 (latest: 2.0.0)

Plugin environment
  env - csk6
  west - West version: v1.2.0
  venv - Python 3.9.7
  cmake - cmake version 3.25.3
  dtc - Version: DTC 1.6.0
  gperf - GNU gperf 3.1
  mklfs - v1.0.0 (3640bfb)
  ninja - 1.11.1
  protoc - libprotoc 3.19.1
  xz - xz (XZ Utils) 5.2.5
  cskburn - v1.22.0 (305)
  zephyr-sdk-0.14.2 - arm-zephyr-eabi-gcc (Zephyr SDK 0.14.2) 10.3.0
  zephyr-sdk-0.16.1 - arm-zephyr-eabi-gcc (Zephyr SDK 0.16.1) 12.2.0
  gcc-arm-none-eabi-10.3 - arm-none-eabi-gcc (GNU Arm Embedded Toolchain 10.3-2021.10) 10.3.1 20210824 (release)
  jlink-venus - V7.58
  CSK_BASE - /home/huochaigun/snap/lisa/x1/.listenai/csk-sdk-v2/csk (版本: v2.0.0, commit: f097b7f9df)
  ZEPHYR_BASE - /home/huochaigun/snap/lisa/x1/.listenai/csk-sdk-v2/zephyr (版本: zephyr-v3.4.0, commit: b8fcc47cc0)
  PLUGIN_HOME - /home/huochaigun/snap/lisa/x1/.listenai/lisa-zephyr
  VIRTUAL_ENV - /home/huochaigun/snap/lisa/x1/.listenai/lisa-zephyr/venv
  ZEPHYR_TOOLCHAIN_VARIANT - zephyr
  ZEPHYR_14_SDK_INSTALL_DIR - /home/huochaigun/snap/lisa/x1/.listenai/lisa-zephyr/packages/node_modules/@binary/zephyr-sdk-0.14.2/binary
  ZEPHYR_16_SDK_INSTALL_DIR - /home/huochaigun/snap/lisa/x1/.listenai/lisa-zephyr/packages/node_modules/@binary/zephyr-sdk-0.16.1/binary
  GNUARMEMB_TOOLCHAIN_PATH - /home/huochaigun/snap/lisa/x1/.listenai/lisa-zephyr/packages/node_modules/@binary/gcc-arm-none-eabi-10.3/binary

自此编译环境和SDK均安装完成。

应用开发请参考：AI-Talk开发板之helloword 

                             AI-Talk开发板之LED

三、多模态开发板SDK获取与初始化

SDK仓库：项目 · Duomotai / duomotai_ap · GitLab

官方教程：获取大模型套件SDK | 聆思文档中心 (listenai.com)

这是聆思针对多模态开发板CSK6-MIX开发板单独出的SDK，主要是一些AI和大模型的应用。

1、获取SDK

git clone --branch release https://cloud.listenai.com/CSKG962172/duomotai_ap.git

2、SDK初始化

cd duomotai_ap
lisa zep init-app
lisa zep update

 3、SDK目录结构

├── apps
│   ├── audio_recognition_online      #综合示例工程（语音唤醒、在线语音识别、坐姿检测、播音能力及LCD显示）
│   └── LLM_control                   #图片生成与设备控制（语音唤醒、大模型对话、绘制图片、控制屏幕显示的颜色）
│   ├── fd                            #人脸识别demo
│   ├── hsd                           #头肩&手势识别demo
│   └── lcd_csps                      #单词评测demo
│   └── lcd_spd                       #坐姿检测demo [屏显版]
│   └── resnet18                      #resnet18物体分类demo
│   └── shell_xtts                    #xtts语音合成
│   └── spd                           #坐姿检测demo [PC预览版]
├── components                        #公用能力组件
│   ├── aiui_inter_conn               #对接云端语音识别
│   ├── audioplayer                   #播音组件
│   ├── boot_cp                       #启动cp核的代码
│   ├── cjson
│   ├── csk_websocket_client
│   └── wifi_mgr
├── docs
│   ├── CSK6011A多模态开发板.xlsx      #开发板引脚互联表
│   └── MUTIMODULE_V1_16.pdf         #开发板原理图
├── README.md                         #工程 Readme
└── west.yml                          #子仓库依赖

4、SDK更新

当SDK有新版本发布时，若想将本地SDK更新至新版本，执行以下操作。

更新本地git仓库

cd duomotai_ap
git reset --hard HEAD
git pull

更新依赖

lisa zep update