修改:2019年11月23日
更新视频,初音未来100fps,添加私信加群提示
修改:2019年2月27日
添加初音未来3D实时渲染FFT demo
修改:2019年2月16日
添加demo
-----
利益相关:这是我们大家的心血。
看完很多人的回答后,感触良多,有的回答非常中肯,而有的回答有失公允。
不废话了,说点有意思的:由于在kendryte网站有各种资料,github上也有代码,我就不在赘述了,demo也许比文本更有说服力,毕竟现在各种各样吹牛的芯片太多,谁也不知道在板子上能跑出怎样的性能。眼见为实,所见即所得吧。
1. 人脸landmark
这一段视频是演示基于某非常轻量化的卷积神经网络实现的人脸5点landmark,是实时的。可以标记出眼睛,鼻子,嘴角,当然这个网络模型用户可以定义来干别的事,不一定非要landmark.k210实时人脸5点landmarkhttps://www.zhihu.com/video/1181532277757210624
有了landmark后,明白人都了解可以做什么了,这是把后续人脸识别做准确的基础工作之一。
2. 实时人脸检测
说实话这个好做得多,炼一个fddb的数据就有了,k210芯片入门demo.视频里有6个人,其中一人的衣服是亮点;-)k210可以实时流畅跟踪人脸。https://www.zhihu.com/video/1181532441842593792
当然大家很欢乐是真的,特别开心。
3. 超快的人脸识别
不卡是基本要求,而且也是基于DNN的
这些只是小试牛刀,仅是基本功能。K210人脸身份识别并开门https://www.zhihu.com/video/1181533475038957568
4. 一般目标检测
看了那么多人脸会让人误会这颗芯片只能做人脸,因此我有必要放一些别的东西。
熟悉吧,这几幅图(静态)是否似曾相识?K210 tinyyolo demohttps://www.zhihu.com/video/1181533903456845824
如果训练的网络没问题,那么可以迁移到k210上干很多事情了。
5. 麦克风阵列
麦克风阵列几乎成为远场拾音的标配了,k210不仅能处理视频,而且能处理声音,举一个有代表性的例子:K210麦克风阵列声场成像https://www.zhihu.com/video/1181535092714946560
K210可以不需要外接DSP的情况下直接吃麦克风阵列的数据,得出声音的方向,强度,空间角度信息,并且做纯硬件的波束形成。
6.语音识别
这个技术非常普及了,也路过一下吧,不同开发者有不同实现方法,交给算法公司吧
K210语音识别https://www.zhihu.com/video/1181535385452277760
7. 随便做一些好玩的玩具
K210舵机跟踪人脸https://www.zhihu.com/video/1181535783630106624
8. K210人脸识别
关键点检测加人脸识别,还带lvgl的GUI(感谢蒋兴权同学移植的lvgl)K210人脸识别https://www.zhihu.com/video/1181536020465635328
9. K210硬件FFT加速
国外开发者做的用k210硬件FFT跑出来的效果,看起来很赞。K210硬件FFT加速https://www.zhihu.com/video/1181536297096818688
10. K210 初音未来miku-miku-dance!
FPU实时3D渲染,最高可达100fps,感谢来自日本的开发者Gombe的作品。很萌,非常不可思议。K210 实时3D渲染100fpshttps://www.zhihu.com/video/1181536427018575872
不管怎么说,这颗国产芯片背后的故事很长,凝聚了一群人两年的心血,从一开始就经历了挫折,以及大家一起熬夜干活的日日夜夜。AI的RTL是我们一行一行代码码出来的,一开始设计就是面向低成本的小应用,这样功耗和帧率都可以优化。
总而言之,这颗芯片还有各种可能,该来的总是会来,这颗国产芯片毕竟是我们熬这么多夜的心血,感谢这个问题下理解和支持的朋友!
[对RISC-V以及AI芯片有兴趣的同学可以私信我,把拉你进AI芯片讨论群]