- 博客(140)
- 收藏
- 关注
RSS订阅原创 ReLU激活值覆盖时计算梯度
nn.ReLU(True)y=ReLU(x)y=ReLU(x)y=ReLU(x){dx=dy,(x>0)dx=0,(x<=0) \left\{\begin{aligned}dx & =dy,(x>0)\\dx & = 0,(x<=0)\end{aligned}\right.{dxdx=dy,(x>0)=0,(x<=0)
2021-07-03 18:47:00
446
原创 Instance norm 2d
Pytorch对于一个4D（N, C, H, W）张量，对于每个mini-batch (N)， 在每个通道 ( C ) 对每个二维张量 (H, W) 单独进行计算均值和方差。即对于一个（16，256， 128，128）的张量，计算16*256次均值方差。“The mean and standard-deviation are calculated per-dimension separately for each object in a mini-batch. ”...
2021-05-21 13:56:02
2174
原创 transforms.ToPILImage
transforms.ToPILImage默认输入tensor取值范围为[0,1]，若为[-1,1]则先需要反归一化到[0,1]
2021-03-19 09:31:46
4686
原创 Why ReLU
Linkx>0x>0x>0部分梯度恒为1，可以防止梯度消失x<0x<0x<0部分激活值恒为0，给网络带来稀疏性和正则化效果。而稀疏表示相比于稠密表示，使用了更少的参数来得到一个更简单，更具解释性的模型。稀疏表示(sparse representation），即用较少的基本信号的线性组合来表达大部分或者全部的原始信号。...
2020-11-30 10:03:27
84
原创 uint8
uint8为8位无符号整数类型，表示范围为[0, 255]。(1111,1111)2=255(1111,1111)_2=255(1111,1111)2=255
2020-11-10 14:35:35
14987
原创 Pytorch对输入的归一化
totensor:[0,255]÷255=[0,1][0,255]÷255=[0,1][0,255]÷255=[0,1]normalize:[0,1]−0.50.5=[−1,1]\frac{[0,1]-0.5}{0.5}=[-1,1]0.5[0,1]−0.5=[−1,1]unnormalize:([−1,1]×0.5+0.5)×255=[0,255]([-1,1]×0.5+0.5)×255=[0,255]([−1,1]×0.5+0.5)×255=[0,255]...
2020-11-01 16:02:58
1666
原创 神经网络训练过程
Pytorch 中一个典型的神经网络的训练过程是这样的：定义一个有着可学习的参数（或者权重）的神经网络对着一个输入的数据集进行迭代:用神经网络对输入进行前向传播计算代价值 (对 output 的修正到底有多少)瞅一眼loss，看看当前网络训练的如何将梯度反向传播回神经网络的参数中 (计算并传播的是梯度)反向传播计算梯度 (求导)：∂∂Wloss\frac{\partial}{\partial W}loss∂W∂loss更新网络中的权重，通常使用简单的更新规则: W
2020-06-14 10:18:47
2877
原创 测试时的dropout
训练的时候dropout的作用就是通过引入噪声，防止模型过拟合。所以其实测试的时候是不能关闭dropout的（关闭的话训练的模型和测试的模型就不同了）。不关闭dropout，我们得到的就是一个随机的网络，给定x，得到的预测值y是服从一定的分布的。不关闭dropout的情况下，单次预测就是从这个分布中采样一次。多次采样就可以得到y的均值，也就是最终的预测值。但是多次采样会带来较大的计算开销。这时我...
2020-05-01 10:51:41
3714
原创 linux路径
在Linux中，绝对路径是从 / (也被称为根目录)开始的，比如/usr、/etc/X11。如果一个路径是从/开始的，它一定是绝对路径。
2020-04-27 09:19:31
146
原创 BGAN 阅读笔记
在半监督/无监督学习下，BGAN的生成器学习到真实数据的分布，并来训练判别器，判别器因此能够判别该样本属于哪一分类，而不是简单判别 REAL/FAKE。作者基于5000个样本的MNIST数据集，其中仅100个为标签样本，训练BGAN，单独拿出判别器进行测试，其达到了SOTA的表现。Quote:But first, let’s consider for a second why using a...
2020-03-26 15:42:29
352
原创 Batch Normalization
做 BN 可以使特征归一化，W 规模差不多时可以使用同一 lr 进行训练，也可以防止梯度消失/爆炸。对隐层的输出先做 BN ，可使值落在 0 附近，再激活，此时梯度较大利于训练。ReLU 对负值的输出为 0 ，可使网络稀疏（类似 dropout）。...
2020-03-22 10:44:37
125
原创 [可分离卷积] torch.nn.conv2d 中 groups
linkgroups controls the connections between inputs and outputs. in_channels and out_channels must both be divisible(可被整除) by groups. For example,At groups=1, all inputs are convolved to all outp...
2020-03-19 10:51:19
317
原创 [NTIRE18]Multi-scale Single Image Dehazing using Perceptual Pyramid Deep Network
1. 概述作者采用 Encoder-Decoder 结构进行去雾。与以往将大气散射模型嵌入网络中不同，作者让模型直接学习从雾图到GT的非线性映射。此外，由于 L2L_2L2 损失函数对去雾效果的副作用，作者采用了 MSE 和 感知损失函数（VGG16）作为新的损失函数。2. 网络结构网络结构如下图所示，作者采用稠密块（DenseBlock）残差块（ResBlock）的结合作为编/解码器，解...
2020-03-18 14:46:01
756
原创 MultiScaleConvNets
1. 概述网络结构如图1所示。作者训练一个融合多尺度特征的网络来预测透射图，通过选择传输图t(x)中0.1%最暗像素来估计大气光 A 。在这些像素中，选取对应的朦胧图像 I 中强度最高的像素作为大气光。网络输出的透射图尺寸与GT相同，去掉上、下采样虽能达到同样效果但是损害了模型性能。作者通过将前一层的一个像素点赋予后一层4个像素点同样的值来实现上采样。图1 网络结构作者修改了原始大气散射...
2020-03-16 16:31:58
311
原创 Adversarial Spatio-Temporal Learning for Video Deblurring
1. 概述作者将GAN（原始的）应用到视频去雾中，由于2D卷积只能提取输入的位置信息，针对视频连续帧具有时间信息的特点作者采用了3D卷积（部分卷积层中），取得了SOTA的效果。2. 模型结构生成模型如图1所示，图1 生成模型作者通过对不同数量（3,5,7,9）的连续帧作为输入，对模型性能进行比较，选择了5作为模型输入连续帧的数量。因为作者采用的是3×3×3的卷积核，因此将三张连续帧进行...
2020-03-08 14:22:26
537
原创 DehazeGAN - thatbrguy
损失函数Ltotal=Wgan×Ladv+WL1×LL1+Wvgg×Lvgg(1)L_{total}=W_{gan}\times L_{adv}+W_{L_1}\times L_{L1}+W_{vgg}\times L_{vgg} \tag{1}Ltotal=Wgan×Ladv+WL1×LL1+Wvgg×Lvgg(1)1. CGAN损失函数：Ladv=E(x,y)[log(D...
2020-03-04 16:26:19
906
原创 GAN 的理解
理论：maxGminDV(D,G)=Ex∼pdata(x)[logD(x)]+Ez∼p(z)[log(1−D(G(z)))]\mathop{max}\limits_{G}\mathop{min}\limits_{D}V(D,G)=E_{x\sim p_{data}(x)}[logD(x)]+E_{z\sim p_(z)}[log(1-D(G(z)))]GmaxDminV(D,G)=Ex∼pd...
2020-03-03 20:37:58
300
原创 AOD VideoDehazing
1. 概述考虑到在自动驾驶汽车中的应用，作者将去雾与目标检测结合，建立了一个端到端的网络。雾图的生成通常是基于大气散射模型：I(x)=J(x)t(x)+A(1−t(x))，(1)I(x)=J(x)t(x)+A(1-t(x))， \tag{1}I(x)=J(x)t(x)+A(1−t(x))，(1)其中I(x)I(x)I(x)表示雾图，J(x)J(x)J(x)表示真实图片，AAA和t(x)t(x...
2020-03-02 13:54:15
890
原创 Python 笔记
1. 列表解析简书列表解析（list comprehension）提供了一种优雅的生成列表的方法，能用一行代码代替十几行代码，而且不损失任何可读性。而且，性能还快很多很多。2. 将字符串拆分为列表>>> string = "hello my friend !">>> a = string.split()>>> a['hello',...
2020-02-27 10:17:34
275
原创 Pixel Aggregation Network (PAN)
1 网络结构训练阶段，网络生成三个预测：Text RegionKenelSimilarity Vector其中 1 和 2 为监督学习，3 为无监督学习（聚类）。预测阶段，遵循以下步骤来使用相似度向量引导像素聚合到Kenel中得到多个 Kenel；对于每个 Kenel 的上下左右四个方向的像素，为 Text Region 内的每个像素找到与 Kenel 的欧式距离小于 dd...
2020-02-25 15:17:18
903
2
原创 聚类
K-means 是目前比较流行的聚类算法，它是一个迭代算法。以二分类为例，首先随机生成两点，叫做聚类中心。然后簇分配。遍历每个样本，根据每个样本与哪个聚类中心更近来分配样本给这两个聚类中心移动聚类中心。两类样本分别计算均值，然后将两个簇中心分别移动到均值位置，然后继续步骤1.。距离指欧式距离：∣∣x(i)−uk∣∣2||x^{(i)}-u_k||^2∣∣x(i)−uk∣∣2...
2020-02-25 13:37:51
187
1
原创 场景文字检测阅读笔记
1. PSENetPSENet 的两大特点：1. 基于像素分割 2. 基于小 Kenel 进行扩展得到最终标定框。具体来说特点 2，模型首先生成与文本形状类似的小 Kenel，然后采用逐步规模扩展（progressive scale expasion）来合并像素。网络结构如下：图片左边为 FPN，P3、P4、P5 进行上采样,然后和 P2 进行 concat，F 表示 feature ma...
2020-02-12 13:17:49
412
原创 场景文字检测综述
一篇包罗万象的场景文本检测算法综述 - 知乎目前基于回归的方法用的不是特别的多, 因为需要手动调节 anchor 的参数(超参数), 而 anchor 的参数对于模型性能有着决定性的作用. 不可能穷举 anchor 的尺寸. 目前一些 anchor free 的方法解决了手动调节 anchor 参数的问题.这种类型可以考虑结合 NLP.目前都是使用合成数据集来作为训练集.手写体的场...
2020-02-06 15:39:17
1440
原创 windows cmd 进入指定文件夹
比如进入d盘的123文件夹底下的456,即“D:\123\456”你在cmd中输入D: 回车再输入cd 123/456 就进去了也可以输入 cd 123 然后在输入cd 456返回上一级目录的命令是cd … 记得cd 和…之间有空格...
2020-01-14 09:54:39
1539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人