- 博客(4)
- 资源 (1)
- 收藏
- 关注
翻译 Distiller:正则化
Regularization正则化在Deep Learning1书中,是这么定义正则化的:“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”PyTorch的 优化器使用l2...
2019-01-08 16:25:57 929
翻译 Distiller:量化算法
Quantization Algorithms量化算法注意:对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。基于范围的线性量化(Range-Based Linear Quantization)让我们在此分解使用的术语:线性(Linear): 表示通过乘以数字常数(比例因子)来量化浮点值。基于范围(Range-Based): 意味着为了...
2019-01-08 15:26:30 6317
原创 Distiller:神经网络压缩研究框架
Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括:用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了,比较适合科研工作。下面简单说一下安装和使用。NervanaSy...
2019-01-07 17:38:11 5563 17
原创 Tensorflow 静态图的动态收缩
Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。静态图思路权重冻结这是一个老问题,之前的文章中也有介绍。解决方法还是:def entry_stop_gradients(target, mask): mask = tf.cas...
2019-01-05 21:15:17 820
计算机网络自顶向下方法第七版 Computer Networking A Top-Down Approach (7th Edition)
2018-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人