Deep Feature Compression & Collaborative Intelligence 深度特征压缩&协作智能的发展历史

Deep Feature Compression & Collaborative Intelligence 深度特征压缩&协作智能的发展历史

Collaborative Intelligence (协作智能)研究如何结合移动端和云端实现高效的部署。Collaborative intelligence is a new paradigm for efficient deployment of deep neural networks across the mobile-cloud infrastructure. 而Feature Compression(特征压缩)是研究如何把原始数据用数据量更小、特征密度更高的数据来表达。这两者的结合,将对下一代智能传感器、智能网络、5G网络带来更广泛的应用。

1. 概念提出

图1:传统方法

传统的方法需要把本地设备数据加密,传到云端,然后云端再进行解密计算。而随着5G时代到来,数据越来越大,对大数据进行加密解密消耗很大。因此2016年 "Dropping Activation Outputs with Localized First-layer Deep Network for Enhancing User Privacy and Data Security“ 提出了如下图所示的框架,把深度神经网络第一层放到设备端,传输网络输出到云端进行其他的运算。这样有两个好处,1)防止黑客从互联网上获取用户的原始数据,保证数据安全;2)防止云端获取用户原始数据,保护用户隐私,这点在医疗领域是非常重要的。

图2:传输网络第一层输出以代替加密过程

除了把数据推断和加密结合,这个思想还可以实现数据压缩的结合,如下图所示。

图3:还能实现数据压缩

到了2018年,“Intermediate Deep Feature Compression: the Next Battlefield of Intelligent Sensing” 在数据压缩方面有了进一步的研究,实现了比HEVC更好的压缩效率。

另外一篇 “Near-Lossless Deep Feature Compression for Collaborative Intelligence” 也非常值得看一下。

未完待续

没有更多推荐了,返回首页