- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 Distiller：正则化
Regularization正则化在Deep Learning1书中，是这么定义正则化的：“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”PyTorch的 优化器使用l2...
2019-01-08 16:25:57
823
翻译 Distiller：量化算法
Quantization Algorithms量化算法注意:对于任何需要量化感知训练的以下方法，请参阅这里，了解如何使用Distiller的机制调用它。基于范围的线性量化（Range-Based Linear Quantization）让我们在此分解使用的术语：线性（Linear）: 表示通过乘以数字常数（比例因子）来量化浮点值。基于范围（Range-Based）: 意味着为了...
2019-01-08 15:26:30
6141
原创 Distiller:神经网络压缩研究框架
Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括：用于集成剪枝（pruning），正则化（regularization）和量化（quantization ）算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了，比较适合科研工作。下面简单说一下安装和使用。NervanaSy...
2019-01-07 17:38:11
5358
17
原创 Tensorflow 静态图的动态收缩
Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行，扩大区间rrr的范围，并对区间内的权重进行量化操作。一次训练可能要量化多个区间，量化后权重冻结。静态图思路权重冻结这是一个老问题，之前的文章中也有介绍。解决方法还是：def entry_stop_gradients(target, mask): mask = tf.cas...
2019-01-05 21:15:17
783
计算机网络自顶向下方法第七版 Computer Networking A Top-Down Approach (7th Edition)
2018-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人