如何识别哭泣csdn_【jji技术】语音识别工程实战：聊聊语音芯片选型

一、主控芯片考察

1.1、性能要求

每当开发新的项目，首先要确定的就是主控芯片

确定主控芯片首要工作是根据整机外设的需求，确定性能需求

性能这个东西呢，差钱的够用就好

不差钱的可以考虑上各家旗舰，你开心就好：）

我们是差钱的那个 【8-P】 ，所以，主控选型从成本和性能上要取得平衡

语音主控性能评估，前提是你要知道自己跑的模型需要多少性能，比如唤醒模型是多少k的，要吃掉多少MHz性能？是否双模型（比如啼哭+普通话）、多唤醒词、混合唤醒？

咱们再从传统的嵌入式系统性能评估取取经

1.1.1、手册评估法

家里没有开矿的，性能评估先从纸上谈兵开始，看芯片DataSheet是关键

关注两个点

1）支持的内存最高频率/种类，内存最高频率决定了所有程序平均跑速，因为程序的堆栈都跑在内存里面；

2）主控主核的频率；

知道吗，虽然当前多数嵌入式处理器都是多核心的，但是能靠自己代码自由驾驽多核任务处理的工程师不多。

1.1.2跑分评估法

其实语音算法厂家一般都有对市场主流的嵌入式处理器做过性能评估，语音唤醒和识别模型需要占多少MIPS，需要吃掉多少MHz性能他们最清楚。

当然你也可以自己跑分测一测，

前提是你手上得有目标芯片的开发板或评估板。

在嵌入式系统行业用于评价CPU性能指标的标准主要有三种：Dhrystone、MIPS、CoreMark，其中Dhrystone是一种古老的却历时30年而不衰的嵌入式系统处理器测试基准，至今仍为各大处理器生产厂商所采用。

这里不再详述，大家可以参考如下两篇文章：

痞子衡嵌入式：微处理器CPU性能测试基准(Dhrystone)_痞子衡嵌入式-CSDN博客​blog.csdn.net

痞子衡嵌入式：微控制器CPU性能测试基准(EEMBC-CoreMark)_weixin_33738555的博客-CSDN博客​blog.csdn.net

1.1.3、NPU性能如何算？

AI时代不能不提NPU，有NPU的处理器也更贵点

传统上，CPU有MIPS，GPU有Textur和Pixel。在高性能计算上，GPU开始使用TFLOPS，即每秒浮点运算次数。进入到NPU，也就是用于支持AI计算的时代，大家普遍使用TOPS。

最近地平线老总提出的针对AI芯片的MAPS评估方法挺有意思，大家参考下

AI芯片跑分有了新玩法！解读地平线MAPS评估法_性能​www.sohu.com

但是说白了，NPU能否用得上、用得好，还得问问语音算法厂家，需要他们进一步评估。

1.2、接口需求

接口需求看不同的产品需求，需要具体问题具体分析，这里先分析语音的接口需求

1.2.1、语音输入接口

智能硬件产品的设备内音频传输，采用I2S、PCM、TDM、PDM等数字接口

可以参考下面的文章了解下：

智能硬件设计中如何选什么音频接口I2S、PDM、TDM？_liangtianmeng的专栏-CSDN博客​blog.csdn.net

数字音频接口(I2S,PCM/TDM,PDM)丶Java教程网-IT开发者们的技术天堂​www.liangzl.com

传输单声道数据：PCM 传输双声道数据：I2S 传输两个及以上声道的数据：TDM 如果多声道数据都是MEMS数字麦：PDM

I2S接口经常是复用的，需要根据具体麦克风类型和数量做出更改。

如果是6mic+2路回采的设计，需要I2S设为TDM模式，实现8路ADC信号输入。

比如下面是一种比较典型的6mic（模拟mic）+2路回采的设计：

1.2.2、语音输出接口

语音输出接口主要也是I2S，数字音频信号经I2S接口输出后还需要做DA转换，之后输出到PA功放芯片进行放大。

1.2.3、数据调试接口

主要是要预留一路独立UART作为调试和识别率测试抓统计结果用。

1.2.4、其他

其他考虑因素比如公司对系列芯片的开发继承性、技术人员的经验积累程度等等

1.3、可靠性要求

从厂家提供的各类环境试验结果去评估

由封测厂提供的比较有用参考价值的试验有：

可靠性寿命实验；
温湿度带电实验；
环境温湿度实验；
冷热冲击实验；

封测厂实验流程像这样的：

1.4、生产工艺要求

生产工艺主要考虑炉温控制要求

芯片支持什么样的焊接工艺，波峰焊、回流焊等？

举例如下图这个：

1.5、芯片封装

芯片封装决定了管脚的布局，也决定了芯片管脚ball与ball、pin与pin的距离是多少，如果打算自制，要充分考虑BGA封装的生产可行性

很多公司没有BGA封装芯片的贴片能力，一般要找SMT大厂进行代加工。

1.6、湿敏等级

湿度敏感元器件：对温度、湿度有特殊要求或包装上有湿敏元件标记的元件

为防止元器件受到环境中水分、湿度和温度影响而使用防静电包装物料，密封包装元器件并将包装内的空气抽出至真空状态的包装方式

Moisture Sensitive Level，即湿度敏感等级，在防潮包装袋外的标签上有说明，若为空，可以参考依据条形码上的说明，分为：1，2，2a，3，4，5，5a，6 几个等级。

Humidity Indicator Card，即湿度显示卡，显示包装袋内的潮湿程度，一般有若干圆圈，分别代表相对湿度10%，20%，30%等，各圆圈内原色为蓝色，当某圆圈内由蓝色变为紫红色时，则表明袋内已达到该圆圈对应的相对湿度；当某圆圈内再由紫红色完全变为淡红色时，则表明袋内已超过该圆圈对应的相对湿度，若湿度显示超过30%，即30%的圆圈内HIC卡颜色完全变为淡红色，表明生产前需要进行烘烤。

HIC卡（湿度指示卡）识别与说明:不同供应商的包装里面的湿度指示卡规格也不一样，如下是常见的一种：

芯片的湿敏等级决定了芯片被拆包后，在空气中暴露多少小时会不会有水汽进入/吸收进芯片内部，决定了：

1、器件在生产车间的存管要求，比如在贴片焊接前是否需要先烤烤再贴片，否则可能引发芯片损坏；

器件从干燥包装里取出到回流焊之间的时间，也就是允许暴露在车间的最大时间。这个时间可以通过烘烤/干燥处理被重置或者暂停。

当元件在回流焊接期间温度升高的环境下，表面贴装元件内部的潮湿会产生足够的蒸气压力损伤或毁坏元件。

常见的失效模式包括:塑料从芯片或引脚框上的内部分离（脱层）、线捆接损伤、芯片损伤、不会延伸到元件表面的内部裂纹等。在一些极端情况中，裂纹会延伸到元件的表面；最严重的情况就是元件鼓胀和爆裂（叫做“爆米花”效应）。

2、贴片后多少小时之内刷防潮油最合适

根据《IPC-CC-830B印制线路组件用电气绝缘物的鉴定及性能》规范，若PCBA在SMT后未能及时涂覆三防漆的，静置时间超过48~72h的，推荐在涂覆三防漆前在121°C [249.8°F]下烘干最少1小时，但不超过4小时。

1.7、功耗

1、是国标要求的功耗限制

2、是产品本身的目标使用能效要求

3、芯片若支持多中休眠等级的控制，可以实现深度休眠等操作，对软件系统灵活优化整机系统功耗有很大帮助。

1.8、芯片环保支持

国内ROHS

国外REACH

1.9、已支持的外部存储列表

1、已经稳定驱动

2、丰富的可选性

1.10、已支持的外部wifi列表

1、已经稳定驱动

2、丰富的可选性

1.11、技术支持获取难易度

有没有售后技术支持系统？

有没有24h响应机制？

厂家定期更新外设支持列表的周期多久？

是否提供原厂技术支持？有些行业其实原厂不提供直接支持的，得找代理商做技术支持；

不限于上面的问题，对芯片技术支持方面需要仔细考量。

1.12、有无量产方案

已经在大量出货的芯片，证明大多数隐性bug被处理过了，减小开发新产品的批量事故风险。

1.13、成本

一般主控芯片价格要占到pcba的3~4成成本甚至更高，所以主控的使用成本很关键。当然，芯片厂家的报价其实主要看用量，用量大的议价能力就强。

1.14、芯片生命周期

芯片生命周期与厂家提供的产品质保年限息息相关，产品生命周期长的一定要选择芯片生命周期长的。

一版AI芯片的生命周期都比较短，因为技术发展速度太快。

对于白电企业刚刚用第一代芯片批产一款机型，厂家的下一代芯片就已经推出了，并且完成市场上大部分产品的方案切换更新，第一代芯片就可能有断供风险。

参考资料：

2020年度智能音箱主控方案汇总，涵盖15大芯片品牌推出的34款解决方案​mp.weixin.qq.com

2、ADC、DAC与PA

等我有空再补发这部分【8-P】