神经网络优化
huataiwang
这个作者很懒,什么都没留下…
展开
-
优化方法汇总+AI芯片压缩
背景近几年来,深度学习技术在计算机视觉、语音识别和自然语言处理等诸多领域取得的了一系列重大突破。 然而,深度学习的发展依然面临诸多问题。尤为突出的是,时下主流的深度神经网络,一般包含数千万甚至是过亿的学习参数,而如此海量的参数给神经网络模型在存储、计算和功耗开销等方面带来了严峻的考验。性能提升方法小模型 mobilenet , 更精细模型的设计,紧致网络设计 Light Netwo...转载 2019-02-26 12:04:50 · 1018 阅读 · 0 评论 -
模型压缩
模型压缩量化模型(Quantized Model)是一种模型加速(Model Acceleration)方法的总称, 包括二值化网络(BinaryNetwork)、 三值化网络(Ternary Network)、 深度压缩(Deep Compression)、 多比例量化等为什么要压缩网络?做过深度学习的应该都知道,NN大法确实效果很赞, 在各个领域轻松碾压传统算法, 不过真正用到实...转载 2019-02-26 12:08:54 · 226 阅读 · 0 评论 -
网络压缩-0、训练时对参数的更新进行限制,使其趋向于稀疏
网络压缩(network compression)尽管深度神经网络取得了优异的性能, 但巨大的计算和存储开销成为其部署在实际应用中的挑战。 有研究表明,神经网络中的参数存在大量的冗余。 因此,有许多工作致力于在保证准确率的同时降低网路复杂度。0、训练时对参数的更新进行限制,使其趋向于稀疏.核参数稀疏: 是在训练过程中,对参数的更新进行限制,使其趋向于稀疏.对于稀疏矩阵,可以使用更加紧...转载 2019-02-26 12:11:40 · 452 阅读 · 0 评论 -
网络压缩-1、低秩分解
网络压缩(network compression)1、低秩近似 (低秩分解 Low Rank Expansion)上图展示了低秩分解的基本思想:将原来大的权重矩阵分解成多个小的矩阵,右边的小矩阵的计算量都比原来大矩阵的计算量要小,这是低秩分解的基本出发点。奇异值分解SVD、CP分解、Tucker分解、Tensor Train分解和Block Term分解 用低秩矩阵近似原有权重...转载 2019-02-26 12:15:05 · 6954 阅读 · 1 评论 -
网络压缩-2,剪枝,3、量化,4、降低数据数值范围 ,5、迁移学习
2,剪枝(pruning) 在训练结束后,可以将一些不重要的神经元连接非结构化剪枝Pruning,结构化剪枝Filter Pruning,梯度Pruning等方法(可用权重数值大小衡量配合损失函数中的稀疏约束)或整个滤波器去除, 之后进行若干轮微调。实际运行中,神经元连接级别的剪枝会 使结果变得稀疏,不利于缓存优化和内存访问,有的需要专门设计配套的运行库。 相比之下,滤波器级别的剪枝可直接...转载 2019-02-26 13:40:19 · 2267 阅读 · 0 评论 -
深度压缩-Deep Compression
Deep Compression方法,包含 裁剪,量化,编码 三个手段。模型参数分析:网络中全连层参数和卷积层weight占绝大多数, 卷积层的bias只占极小部分。 而参数分布在0附近,近似高斯分布。参数压缩针对卷积层的weight和全连层参数。每一层的参数单独压缩。1. 剪枝(pruning)模型的裁剪方法则比较简单明了,直接在原有的模型上剔除掉不重要的filter, 虽...转载 2019-02-26 13:56:28 · 1193 阅读 · 0 评论 -
模型压缩总结(完)
模型压缩总结1. 核参数稀疏在损失函数中添加使得参数趋向于稀疏的项,使得模型在训练过程中,其参数权重趋向于稀疏。2. 权重矩阵低秩分解核心思想就是把较大的卷积核分解为两个级联的行卷积核和列卷积核,例如 33卷积分成 13卷积和 31卷积 级联。这里对于11的卷积核无效。3. 剪枝可分为在filter级别上剪枝或者在参数级别上剪枝:a. 对于单个filter,有阈值剪枝方法,将f...转载 2019-02-26 13:58:34 · 1428 阅读 · 0 评论