pytorch
Yan_Joy
这个作者很懒,什么都没留下…
展开
-
PyTorch 0.4 升级指南
4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有:Tensor/Variable合并零维张量(标量)volatile标志的弃用dtypes,devices和Numpy型Tensor的创建函数写设备无关的代码下面对其中的升级注意的问题进行说明。 原文参考:PyTorch 0.4.0 Migration G翻译 2018-04-26 17:08:00 · 2458 阅读 · 1 评论 -
Distiller:神经网络压缩研究框架
Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括:用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了,比较适合科研工作。下面简单说一下安装和使用。NervanaSy...原创 2019-01-07 17:38:11 · 5608 阅读 · 17 评论 -
Distiller:量化算法
Quantization Algorithms量化算法注意:对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。基于范围的线性量化(Range-Based Linear Quantization)让我们在此分解使用的术语:线性(Linear): 表示通过乘以数字常数(比例因子)来量化浮点值。基于范围(Range-Based): 意味着为了...翻译 2019-01-08 15:26:30 · 6351 阅读 · 0 评论 -
Distiller:正则化
Regularization正则化在Deep Learning1书中,是这么定义正则化的:“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”PyTorch的 优化器使用l2...翻译 2019-01-08 16:25:57 · 946 阅读 · 0 评论 -
MMdnn:微软模型转换工具
简介深度学习火了,一同热的还有深度学习框架。当然经过了几年的淘汰(比如theano),目前最火的大概有Tensorflow、PyTorch以及Caffe了。他们各有所长,开发时可能会选定一个单独的平台,但是在应用时就需要考虑其他的因素。重新在其他框架上改代码就变得比较麻烦,如果能把模型直接转换好,更重要的是不同平台效果相同,那就会节省很多时间。MMdnn就是这样的一个模型转换工具,而且是微软出品...原创 2019-06-03 17:13:25 · 4399 阅读 · 4 评论