- 博客(19)
- 收藏
- 关注
RSS订阅原创 pytorch中的KL散度详解torch.nn.functional.kl_div
F.kl_div是 PyTorch 中的一个函数，用于计算两个概率分布之间的 Kullback-Leibler (KL) 散度。KL 散度是一种非对称的测量，用于衡量两个概率分布的相似度。如果两个分布完全相同，KL 散度为零；否则，KL 散度为一个正数。在 PyTorch 中，F.kl_div的输入是两个张量，其中第一个张量的每个元素应该是第二个张量对应元素的对数概率。因此，F.kl_div的输入应该满足下面的条件：第一个输入张量input：这个张量的元素应该是第二个张量对应元素的对数概率，即。
2023-06-12 22:25:25
8724
4
原创 论文阅读SE_NET Squeeze-and-Excitation networks
为了实现这一目标，该功能必须满足两个标准：第一，它必须操作灵活（尤其是它必须能够学习通道之间的非线性关系），第二，它必须学习非互斥关系，因为我们希望多个通道都能被加强（而不是类似one-hot那种仅加强了某一个通道特征）。如上图Frt的输入为X∈ℝH`× W`× C` ，输出为U∈ℝH× W× C，Frt是一个卷积操作，用V = [V1,v2,v3,,,,Vc]表示，Vc表示第C个卷积，输出用U = [U1,U2…，即具有降维率r的降维层，一个ReLU，然后是一个维度升高层，再转到输出特征图的通道维度。
2023-04-13 15:02:56
126
1
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 剪枝相关扩展知识
在彩票假说的背景下，权重回溯有助于确定一个具有良好初始化权重的子网络，使其能够在较少的训练迭代次数内达到与原始网络相似的性能。Lottery Ticket 假设 (LTH)（2018）声称“密集、随机初始化的前馈网络包含子网络（中奖彩票），当单独训练时——在相似的迭代次数下达到与原始网络相当的测试精度。在权重回溯中，我们首先训练一个大型神经网络（也称为原始网络），然后剪枝该网络，保留一些重要的权重并去除其他不重要的权重。除了在权重级别的非结构化修剪和在滤波器级别的结构化修剪之外，还有其他粒度的修剪方法。
2023-04-11 23:26:29
476
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 未来发展方向
此外，修剪过程可以通过利用模型[182]、loss landscape损失景观[110]、generalizationstability trade-off可推广性权衡[183]和模型熵[184]的解释来指导。此外，不同的训练方法[186]、[187]、[188]可以与修剪一起考虑。其次，单次修剪[189]，[190]只修剪一次，得到修剪后的模型。这里有一些简单的例子：超分辨率[202]、个人识别[203]、医学成像诊断[204]、人脸属性分类[205]和集成学习[206]，[207]。
2023-04-11 23:24:18
254
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 一些优化工具
当涉及到大量数据时P（x）的积分难以计算，变分贝叶斯通过变分分布q（x）来近似后验分布P（θ|x），具体的说，就是最小化q（x）和P（θ|x）的Kullback–Leibler（KL）距离，由于计算KL涉及到棘手的后验分布P（θ|x），因此该问题通过等价转化，计算最大化证据下限Evidence Lower BOund (ELBO).贝叶斯推断是利用参数θ和观测数据x的已知先验分布P（θ）来推断后验概率分布P（θ|x）的方法，其计算公式如下。其中L对w的二阶导由H表示，是一个Hessian矩阵，
2023-04-11 23:24:05
520
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 神经网络架构搜索
与同时使用 DDPG 和 的 AMC [1-1] 相比，该方法使用近端策略优化 (PPO) 算法 [261] 作为策略，因为 PPO 给出了更好的实验结果。此外，由于专门设计的图环境，RL 系统的奖励不需要包含稀疏约束。此外，zero pruning indicator将归零权重的梯度，保持修剪层的权重以便于重新评估。多个agents 的存在来自于为层中的所有通道分配专用agents ，每个agents 只学习一个表示二元决策的参数。此外，通过将保留的通道限制为给定的空间，它大大减少了修剪结构的组合。
2023-04-11 23:22:58
680
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 动态剪枝方法
Soft filter Pruning 软滤波器修剪(SFP)（2018）以结构化的方式应用了动态剪枝的思想，在整个训练过程中使用固定掩码的硬修剪将减少优化空间。允许在下一个epoch更新以前的软修剪滤波器，在此期间，将基于新的权重对掩码进行重组。例如，与复杂图像相比，包含清晰目标的简单图像所需的模型容量较小。Runtime Neural Pruning (RNP)（2017）静态模型不能通过对更容易识别和复杂的模式图像使用相同的权重来利用输入图像的不同属性，基于这个前提。
2023-04-11 23:22:04
1196
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于激活的剪枝
论文阅读Structured Pruning for Deep Convolutional Neural Networks: A survey - 2.2节基于激活的剪枝
2023-04-11 23:21:27
353
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于正则的剪枝
(ResRep)（2021）将CNN重参数化为两个部分，一个为记忆部分，保持学习性能，第二个为遗忘部分，在BN层之后插入1*1卷积或者compactors，训练更新梯度时仅作用于compactors，即只允许compactors遗忘，而其他卷积层保持不变（记忆）权重为0，激活值仍然是非零的，因为还有卷积的偏置，BN的方差和平均值，所以该方法不止对滤波器分组，而是将导致非零激活的参数分组在一起，引入混合L1-L2范数来进行稀疏。，在训练之后，对具有接近于零的γ的相应通道进行修剪。
2023-04-11 23:20:05
580
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于权重的剪枝
论文阅读，Structured Pruning for Deep Convolutional Neural Networks: A survey2.1节 基于权重的剪枝的部分
2023-04-11 23:19:12
282
原创 (CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基本信息
论文阅读，Structured Pruning for Deep Convolutional Neural Networks: A survey
2023-04-11 23:16:40
317
1
原创 线性时间选择
这相当于是对于快速排序的基准选择的一个优化，使得选择算法达到线性时间。#include#include#include #includevoid Swap(int &a, int &b){ int temp = a; a = b; b = temp;}int compare(const void *a, const void *b){ int *pa = (int*
2016-06-07 02:46:55
430
原创 由逆序列的序号反推出逆序列
题目描述： 给出正整数 n ，则 1 到 n 这 n 个数可以构成 n ！种排列。设 i1 … in 是一个排列，则 a1 … an 是它的逆序列，其中 aj 是 j 的左边大于 j 的数的个数。把这些排列按照逆序列从小到大的顺序列出，如 n=3 时，列出 1 2 3 ， 1 3 2 ， 2 1 3 ， 3 1 2 ， 2 3 1 ， 3 2 1 六个排列，因为它们的逆序列分别是 0 0
2016-05-15 16:19:56
2683
原创 Biorhythms (POJ1006)
题目概述：已知 三个变量 p e i ;为三个周期循环的起始时间，其周期分别为23 28 33。求三个循环同时结束时，距d的时间。即为求三个同余方程 x=p mod 23 x=e mod 28 x=p mod 33;利用中国剩余定理可得 解 x=(1288 * c + 14421 * b + 5544 * a ) % 21252。#inclu
2016-05-10 14:38:11
290
原创 Crazy tea party
Descriptionn participants of > sit around the table. Each minute one pair of neighbors can change their places. Find the minimum time (in minutes) required for all participants to sit in reverse o
2016-05-09 23:46:13
265
原创 Nim取子游戏
Nim取子游戏属于“Impartial Combinatorial Games” 有若干堆石子N1,N2…，双方交替在堆中取子，取子数n∈[1,Ni]。 此游戏对于不同的石子情况下，先手和后手有对应的必胜策略。 首先定义游戏的平衡态 ⑴，将每一堆石子数二进制展开 Ni=Ait Ai(t-1)…..Ai1 i=1.2….k; 若各位的第i位的和为偶数，则称之为平衡态。 一个游戏处于平
2016-05-09 18:45:31
1219
转载 快排 随机分割
计算机算法设计与分析第四版[王]#include<iostream>#include <stdlib.h> using namespace std;inline void swap(int &a, int &b){ int c = a; a = b; b = c;}//随机分割int Random(int a, int b)//随机在a--b选择一个整数{
2016-04-28 00:14:32
373
转载 快速排序 一般分割
计算机算法设计与分析第四版[王] #include<iostream> #include <stdlib.h> using namespace std; inline void swap(int &a, int &b) { int c = a; a = b; b = c; } //一般分割
2016-04-28 00:07:10
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人