百度嵌入式深度学习框架Paddle-Mobile

嵌入式深度学习有哪些应用

深度学习技术已经在互联网的诸多方向产生影响，时下关于深度学习和神经网络的讨论越来越多。深度学习技术在近几年得到飞速发展，各种互联网产品都争相应用深度学习技术，产品对深度学习的引入也更进一步地影响人们的生活。随着移动设备被广泛使用，在移动互联网产品应用深度学习和神经网络技术已经成为必然趋势。在移动端应用深度学习技术能够做出哪些惊艳的体验，是值得大家关注的首要问题。如下是图像搜索中的一个功能，实时翻译。

 

实时翻译

打开单搜索APP里左下角的图像搜索，设置好限定翻译垂类和语种，只要用手机对准想要翻译的文字的场景，就能够实时地给出翻译结果，并且将翻译结果完美地融合到你所看到的场景中。如图可见，翻译结果的字体颜色以及贴图的背景色，都与真实场景是完全一致的。同时，即使你的手机移动或抖动，你所看到的整个融合后的翻译结果也依然是稳定。

这个功能已应用于移动端深度学习技术，同时也被应用于很多计算机视觉相关技术，包括Tracking、背景色处理等功能。

技术实现：首先，需要对文字进行背景色和前景色提取，这里所说的颜色用于翻译结果渲染，增强现实感；其次是提取文字区域的角点，并进行光流追踪，这一步主要用于实时更新翻译结果贴图的位置信息，随着手机移动，需要让翻译结果贴图始终贴合在其应该出现的位置。除了需要更新位置信息，同时需要对翻译结果贴图进行透视变换，因为手机的旋转以及三维坐标系上的各种角度变化，这一步的透视变换就是为了得到一个透视变换矩阵，然后作用于翻译贴图，让贴图有同样的角度变化，大大增强了现实感。最后则是对识别到的文字进行翻译，获取翻译结果。

 

视频流式搜索

这一功能基于业界首创的本地“多目标识别+粗分类识别”相结合的实时识别模型，第一次大规模使用移动端GPU进行深度学习计算。在简单搜索的IOS端已经可以体验，2018年底将会上线百度APP的Android版。

实时检测取景框内的多个主体，并通过毫秒级响应的粗分类识别能力，