![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 84
ywsdxxzj
这个作者很懒,什么都没留下…
展开
-
论文阅读-20220603-ViT
论文笔记,私人用途原创 2022-06-03 08:50:11 · 481 阅读 · 1 评论 -
论文阅读-CVPR2022-TVConv: Efficient Translation Variant Convolution for Layout-aware Visual Processing
论文阅读-CVPR2022-TVConv: Efficient Translation Variant Convolution for Layout-aware Visual Processing引文整理MotivationTE问题两种方差贡献MethedologyTVConv流程结果实验分析①TVConv对于数据增强够鲁棒吗?②如何初始化Affinity Maps?③过参数化Weight-Generate模块有用吗?④既然TVConv可以即插即用,那么插在哪好?总结缺点Title: TVConv: Ef原创 2022-05-20 10:47:31 · 2508 阅读 · 0 评论 -
论文笔记-粗读-8.22~8.29
论文笔记-粗读-8.22~01-Learning Structured Sparsity in Deep Neural Networks文章:代码:https://github.com/wenwei202/caffe/tree/scnn文章采用结构化稀疏的方法对不同的结构进行修剪。最终将20层的ResNet修剪至18层,同时精度由92.25%提升至92.60%。filters和channels之间存在冗余[11];filters为什么一定是正方形呢?深度网络有时因为梯度爆炸和梯度消失的问题原创 2021-08-29 13:51:27 · 470 阅读 · 0 评论 -
论文笔记-精读-8.24-Pruning neural networks without any data by iteratively conserving synaptic flow
原文:代码:总结解决的问题:现有的gradient-based的剪枝方法在初始化时会遭遇layer-collapse的问题——即导致过早的剪去一整个layer使得网络模型无法训练的现象;彩票假设提出后,对模型到底是否需要pre-trained提出了质疑,很自然有这样一个问题:能不能不训练,甚至不借助于任何数据输入,而直接地detect the wining lottery ticket? 对此目前没有有效的算法;方法的新颖之处:不依赖于训练数据就能够识别wining ticket;原创 2021-08-24 12:39:46 · 1003 阅读 · 0 评论 -
论文笔记-精读-8.22-Manifold Regularized Dynamic Network Pruning
论文笔记-精读-8.2-Manifold Regularized Dynamic Network Pruning总结关于本篇文所解决问题的总结写在前面,方便一些朋友阅读,也方便自己从具体的方法中跳脱出来,高屋建瓴、理清思路。要解决的问题&解决的情况问题主要是:static prune达不到高的剪枝率,文章这是因为他们没有充分发掘输入中的信息;方法的优缺点直觉上,这个基于交叉熵的复杂度评估必须要等到接近收敛才能有比较好的近似,否则一开始,所有实例都拟合得不好,得到的复杂度信息肯原创 2021-08-22 08:23:37 · 1543 阅读 · 0 评论 -
Pytorch官方引导02-TENSORS
Pytorch官方引导02-TENSORS张量(Tensor),是一种特殊化的数据结构,与数组和矩阵非常相似。在Pytorch中,我们使用张量来编码一个模型的输入输出,以及模型参数。import torchimport numpy as np初始化张量初始化张量的方式有多种,示例如下:直接来源于数据张量能够直接从数据创建,其数据类型是自动推断的:data = [[1, 2], [3, 4]]x_data = torch.tensor(data)来源于numpy数组张量也能够从num翻译 2021-07-07 22:32:47 · 133 阅读 · 0 评论 -
Pytorch官方引导01-QUICKSART
Pytorch官方引导01-QUICKSART目前在做一个深度学习加速的项目,基础知识还不太过关,于是先从炼丹开始学起,貌似使用jupyter和markdown能够一边跑演示代码一边记笔记,正好还可以上传到CSDN便于复习,感觉这对刚上手做深度学习的人来说还是非常有帮助的,于是从现在开始尝试一下,看效果如何。Working with data数据工作常用两个源语:Dataset----------包括 样本samples 和 标签labelsDataLoader-----在Dataset基础上包翻译 2021-07-06 22:48:48 · 202 阅读 · 0 评论 -
剪枝论文笔记-基于最小化重构误差的方法(1)-ThiNet
论文题目:ThiNet: A Filter Level Pruning Method for Deep Nerual Network Compression原文链接:https://arxiv.org/pdf/1707.06342.pdf作者:Jian-Hao luo, Jianxin Wu, Weiyao Lian–yangtao2019, 2021.5.21原创 2021-05-21 15:32:33 · 855 阅读 · 0 评论 -
BP算法的数学基础-链式求导法则中的细节问题推敲
这里写自定义目录标题BP算法四个基本方程链式法则一、完备表达如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入BP算法众所周知,深度神经网络的一大精髓在于BP算法。每个Batch的前馈计算完成后,采用BP算法可以很方便地求得梯度,或者说,损失函数EEE对于任一个权重wi,原创 2021-04-21 20:38:27 · 552 阅读 · 0 评论