安静到无声

转载 为什么设置cudnn.benchmark = True

torch.backends.cudnn.benchmark = true总的来说，大部分情况下，设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。一般来讲，应该遵循以下准则：如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率；如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一.

原创 pytorch权重初始化

我们定义的网络如下所示VGG( (features): Sequential( (conv0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (norm0): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (relu0): ReLU(inplace=True) (conv1

原创 深度神经网络模型修剪：特经典论文回顾与综述

题目Pruning Filters for Efficient ConvNets作者与单位美国马里兰大学 Hao Li方法和要解决的问题过滤器剪枝(基于feater map通道的剪枝）基于幅度的权重修剪减少了来自完全连接层的大量参数，并且由于修剪网络中的不规则稀疏性，可能不能充分降低卷积层中的计算成本。idea1.对每层的滤波器进行取范数并对比大小，删除其排名靠后的滤波器。主要还考虑了对应特

原创 Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）

作者提出基于论文Learning both weights and connections for efficient neural network修剪的方法在保留精度以及实现更高的压缩率方面确实很好。但是，这种改进是以稀疏计算模式的不规则性为代价的。另一方面结构化的剪枝（例如修剪掉整个过滤器），但是比修剪单个权重会引起更大的精度损失。因此作者提出了三个问题：规律性和准确性之间的权衡是什么？是否可以在规律性范围内找到一个最佳位置？最佳位置如何提高硬件实施效率？现存的很多工作尽力去用对卷积核和通

原创 CVPR2020-HRank：Filter Pruning using High-Rank Feature Map

1. 介绍滤波器修剪的核心在于滤波器的选择，滤波器的选择应以最高的压缩比和最低的精度折衷。基于过滤器评价函数的设计，作者根据经验将过滤器剪枝分为两种大类。属性的重要性(Property Importance)：基于CNNs的固有属性对滤波器进行修剪。这些修剪方法不会弥补网络训练损失。剪枝后，通过微调提高模型性能。在这些方法中:Network trimming: A data-driven neuron pruning approach towards efficient deep architect

原创 ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression

ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression1. 架构在给定预先训练的模型的情况下，将以预定义的压缩率逐层修剪该模型。框架总体如下：滤波器选择。如果我们能用第(i+1)(i+1)(i+1)层输入中的一个通道子集来近似第i+1i+1i+1层的输出，可以将(i+1)(i+1)(i+1)层的其它通道（补集）剔除。同时，第(i+1)(i+1)(i+1)层的输入feature map的一个通道是由第iii层

原创 机器学习MATLAB实现：基于DCT变换的JPEG图像压缩

基于DCT变换的JPEG图像压缩摘 要：图像和视频通常在计算机中表示会占用非常大的空间，而出于节省硬盘空间的考虑，往往要进行压缩。而随着网络的发展，图像压缩技术越来越被人所重视。DCT变换是图像压缩的一项重要技术，本文主要对基于DCT变换的JPEG图像压缩进行研究，并用Matlab进行了算法仿真。实验结果表明, JPEG压缩算法实现简单，在很大的压缩范围内，都能得到很好的重建图像质量。关键词：DCT变换；JPEG图像；压缩中图分类号：（作者本人填写） 文献标识码：A D

转载 三大种类矩阵范数：诱导范数，元素范数，Schatten范数，涵盖谱范数，2范数