天飓的技术博客

想要在树莓派上调用蜂鸣器发声，首先要先安装了sox，之后要用os.system来调用sox执行蜂鸣器报警：os.system('play --no-show-progress --null --channels 1 synth %s sine %f' % (duration, freq))请注意，上面同样的duration（持续时长），比如500ms，在windows中是写500，在树莓派中是写0.5。知道了怎么调用，那么，接下来就只要知道对应的音符的频率就可以演奏乐曲了。

若上位机接收到数据包，在其检测显示区域就会显示一颗金色的心（图2）；整个程序的核心代码就是openserial()函数，函数先获取端口号和波特率数据，然后执行串口链接操作，链接成功则启动数据接收线程，并在检测显示区域画心。程序的操作就是选择串口端口->设置波特率->点击“打开串口”按钮，若串口链接成功，显示区域就会出现一颗心。前不久组装了一台带有蓝牙的STM32小车，然后用pyqt5编写了一个简单的上位机程序，实现PC端通过蓝牙遥控STM32小车。今天先来聊聊其中的蓝牙链接和链接检测的功能（图1）。

同样的方法，但这次不用get_slot，而是直接获取最新的用户话本（user text）来做配对。同样的，domain里也不需要设置多个utter话术了，直接变成一个action_about_weather，story也合并成一个。对于三种天气，分别定义了要下雨了，正在下雨和好天气三个聊天意图，然后在domain中针对这三个intent又分别定义了对应的utter_***话术。但是问题来了，天气的种类远远不止上述三种，那么我是不是要每一种天气开头的聊天都要单独定义一遍？答案不是不可以，可会让人觉得有点傻。

Rasa train的训练究竟要用多长时间？昨天在做新一轮训练时，我记录了这个时间。开始前还是要先说明下，我用的是rasa1.4版，NLP是MitieNLP，系统是32位的Linux raspberrypi 4.19.57-v7+，armv7l GNU/Linux。Rasa train开始时间：2024-10-27 20:10 * 从正式执行rasa train命令开始到完成core model training，总耗时5分钟。 * 开始执行nlu model training，Part

点击文本框，输入中文或英文关键字，点击“Search”按钮，页面就会跳转到象形文字字典页。点击英译列表中的某个词语，就可以看到该词语对应的象形文字内容及其中英文翻译。”上推出了在线的象形文字字典，总共收罗了将近700条的象形文字（词）。在线字典的使用方法很简单，在网站各大版块首页的右上方会有如下图所示的查询入口。有些象形文字所对应的信息会涉及网站中已收录的某个古埃及故事，那么，在其具体解释细则后面就会出现“目前，这个在线字典还没有包含具体的象形文字发音，以后有时间，我会再逐步添加。

本来是想借上周重装系统的机会把TTS也换一下，依旧还是树莓派系统原因，相应的高版本的tensorflow、torch等我都装不了，也就只能继续用espeak将就了。》所列，目前我用的sherpa-ncnn的中文模型的size是small，但在我的这块18年买的树莓派上，其识别的耗时依旧还要4-5秒（官网演示材料显示的耗时是0.8秒）。如果有知道怎么提升这个识别速度的朋友，还请不吝告知。上图是本次对话的log记录，从图上可以看到，主要的对话耗时是用于录音（默认5秒）和语音识别（平均5秒）这两个组件上。

对于上述应答情景，我在程序里先定义了两个数组，第一个是实际功能清单，第二个是功能关键字。rasa bot在判断了用户问题并转到action后，程序会执行tracker.get_slot("behavior")，获得user问题中对应的label信息，如果这个label为空，则按照情景3回复；如果label不为空，则让label的内容与功能关键字进行匹配，匹配成功按照情景1回复，否则就是按照情景2回复。比如我在nlu中定义的问题是询问语音助手能做什么，得到的回复应该是两种可能：1.是的，我具备***功能；

这时候，昨天保存的rasapip.log就派上用场了，打开这个log，查到之前安装成功的rasa的依赖树，找到tensor2tensor这条信息，看看它底下究竟装了什么？不去管pip3 install tensor2tensor==1.14.0会装些什么了，我直接参考这份log里面的信息，从上往下把tensor2tensor的依赖项一个个都按正确版本装好，回过头再去pip3 install tensor2tensor==1.14.0，没有任何“废话”，一次成功！我为什么说要用它做一个安装备份呢？

立马在CSDN上查找，可是绝大多数的解决方案都是某个.so的软连接，但自从前几天遇到GLIBCXX_3.2.9的问题后，我对软连接的解决方案已经不再轻信。继续找解决方案，有说这类报错，基本上是l*后面的*库缺失，只要把对应的库安装上去就可以了。可一下子是好几个l*，我该装哪一个才是正确的？之前安装snowboy也没有遇到这些报错呀！结果不用猜了，再次启动snowboy，顺利执行！

把它们放入新烧录好的sd卡的boot盘中，将sd卡插入树莓派启动，等绿灯不再频繁闪烁的时候，打开putty，选择以前登录过的那个树莓派地址，不一会儿，就会弹出登录成功的提示。注意，由于是新系统，这次SSH算是第一次，登录请用树莓派默认账号和密码：pi 和 raspberry，登录系统后再通过sudo raspi-config予以修改。这里还要提一句，如果你以前没有在家登录过这台树莓派，那么你的putty上是不会有原来的ip地址的，需要你自行查找设备ip后再来登录。其中的priority表示连接的优先级。

比如我的树莓派3B+，是32位armv71架构，买的时候就配了一个3.5英寸触摸屏。安装好后，要给3.5英寸屏加驱动，按照《第三次选择了3.5英寸屏开发商提供的2019buster版的raspbian，一切都是熟悉的配方，软硬件全部一步到位。结果，惨痛的教训告诉我，最实用的才是最好的。但是，这个工具提供的镜像版本最低也是bullseye版本，当前默认的都是bookworm版，这对老型号的树莓派来说，还是要注意下的。所以，raspbian系统不是越新越好，适合你的树莓派硬件需求以及你本身的习惯才是最重要的！

遇到`GLIBCXX_3.4.29' not found问题不是急着升级gcc，找已经编译好的libmstdc++.so.6.29，而是要去找引发这个报错的库是哪一个！

有看官可能会说，dm-tree最新版cmake不识别-j4，那我将dm-tree版本下降不就可以了？的确，将其版本降级为0.1.5（甚至是0.1.0），pip install的时候的确不报cmake不识别-j4的错误了，但这时候就会出现找不到bazel的报错，查了查网上资料，感觉解决bazel比升级cmake更麻烦。重装rasa和tensor2tensor的时候都在提示fail to build dm-tree（最新版0.1.8），然后单独pip3 install dm-tree，也是报错。

在昨天把系统搞崩溃前，对sherpa-ncnn的中文模型做了一个简单的对比。这次使用的分别是sherpa-ncnn-streaming-zipformer-bilingual-zh-en-2023-02-13（以下简称bilingual-zh-en-2023-02-13）和sherpa-ncnn-streaming-zipformer-small-bilingual-zh-en-2023-02-16（以下简称small-bilingual-zh-en-2023-02-16）。

于是，我pip3 install –upgrade pyaudio，的确升级了版本，但运行record.py时还是同样的报错。》一文中，我提到过用sounddevice录音的时候需要定义具体是哪个设备。于是打开record.py文件，一看，当前使用的device = 3。如上图，重装树莓派系统后，我的usb麦克风的编号变成了2（从0算起），所以，代码要改为device=2。在终端输入python3 -m sounddevice，可用音频设备一目了然。继昨天重装了树莓派系统后，今天开始重新安装语音助手。

这次在官网无意中看到他们出了一个Raspberry Pi Imager的工具，可以直接完成镜像烧录操作，于是就尝了个鲜。选择“编辑设置”按钮，会弹出具体的设置信息，有三个tab，第一个是General信息，包括用户名、密码、wifi和语言设置；后续的操作就和我当初第一次装树莓派系统的操作差不多，在此就不再赘述，有兴趣的朋友可以看我以前的博文。完成定制化设置后，点击“保存”按钮，软件回到前面的提示框，连续点击两个“是”，开始写入SD。第二个下拉框选择你要安装的OS，点击黄框所在的选项，可以挑选更多OS。

接下来，我要在rasa的actions.py中调用我写的这两个函数，并最终实现语音助手查询天气信息的功能。2.language：显示的语言，默认是zh-Hans（简体中文），其他还支持12中语言或字体，具体可以参看官网产品文档。4.start：天气预报起始时间，默认值是0，<0是今天以前，>0是今天以后，也可以输入具体的日期如2015/10/1。5.days：输入数字，比如3，根据权限的允许最多天数，显示对应的几天预报。1.location：查询具体的城市名字，显示的就是对应城市的天气。

接下来，我就可以在rasa的actions.py中调用这个class，并最终实现语音助手收取最新邮件的功能了。相关代码我会在我的公众号“天飓”发布，感兴趣的朋友欢迎关注“天飓”。要给自己的树莓派语音助手增加一个收邮件的功能，在CSDN上对比了pop3收邮件和imap收邮件的两种不同方案，最终选择用imap来收取163邮箱的邮件。请注意：因为我是要让语音助手播报邮件内容，所以上面代码在邮件正文内容部分做了html转纯文本的格式转换。

Rasa train的时候，如果pipeline中包含了MitieEntityExtractor，那么在训练中文NLU的时候，NLU中不能放置过多的entity标签——如“[今天](date)”，其中date就算一个。否则，训练进行到part II train segment classify的时候，训练时间会无限延长（可能几个小时都没结束）。就我的树莓派3B系统来看，在NLU里放三个entity标签可以用正常时间训练，多一个，训练时间就不可控。