深度学习
o0Helloworld0o
怕是要翻水水哦
展开
-
Variational AutoEncoders
VAE属于Explicit density,因为VAE使用极大似然估计,需要考虑data likelihood pθ(x)p_\theta(x)pθ(x)VAE属于Approximate density,因为VAE涉及一个intractable posterior density pθ(z∣x)p_\theta(z\mid x)pθ(z∣x),使用encoder network qϕ(z∣...原创 2020-01-29 20:00:57 · 352 阅读 · 0 评论 -
关于卷积的一些细节
卷积中空间维度的计算公式为:Sout=Sin+2p−kss+1S_{out}=\frac{S_{in}+2p-ks}{s}+1Sout=sSin+2p−ks+1因此卷积是否留有空隙取决于公式中的除法是否能整除当s=1s=1s=1时,一定能整除,若要Sin=SoutS_{in}=S_{out}Sin=Sout,则p=ks−12p=\frac{ks-1}{2}p=2ks−1(注:ksk...原创 2019-03-04 16:11:47 · 479 阅读 · 0 评论 -
ResNet
代码:link原创 2018-12-07 10:28:06 · 208 阅读 · 0 评论 -
ResNeXt
ResNeXt的PyTorch实现:https://github.com/Cadene/pretrained-models.pytorch/blob/master/pretrainedmodels/models/resnext.py(224, 224, 3)→【self.features】→(7, 7, 2048)→【self.avg_pool, ks=7, s=1】→(1, 1, 2048)→...原创 2018-12-03 20:46:14 · 790 阅读 · 0 评论 -
InceptionV3
InceptionV3的PyTorch实现:https://github.com/pytorch/vision/blob/master/torchvision/models/inception.py2a表示第2组的第1个Block,同一组的空间维度相同但为何没有3a, 5a?(299, 299, 3)→【1a, Cout=32, f=3, s=2】→(149, 149, 32)→【2...原创 2018-11-26 11:29:21 · 427 阅读 · 0 评论 -
RNN系列
import torchimport torch.nn as nnseed = 0torch.manual_seed( seed )def compute_diff( t1, t2 ): return (t1 - t2).mean().item()################### 研究GRU的计算原理 #################### ...原创 2018-09-01 14:52:27 · 339 阅读 · 0 评论 -
Generative Adversarial Networks
Minimax objective function样本来源共有两部分:x∼Pdatax∼Pdatax\sim P_{data},z∼P(z)z∼P(z)z\sim P(z)两个网络:判别器DθdDθdD_{\theta_d},生成器GθgGθgG_{\theta_g}首先从判别器的视角来看,分别考虑两部分数据:对于第一部分的real样本x∼Pdatax∼Pdatax\sim P_...原创 2018-08-06 16:30:53 · 215 阅读 · 0 评论 -
CNN中的receptive field
从后向前计算,计算公式如下prev receptive field = kernel_size + ( cur receptive field - 1 ) * stride原创 2018-08-06 16:14:59 · 267 阅读 · 0 评论 -
CNN中的卷积和池化运算
实现Zero-Padding X是一个4维Tensor,(m, n_H, n_W, n_C),对n_H和n_W维度填充0,返回X_paddef zero_pad(X, pad): X_pad = np.pad(X, ((0, 0),(pad, pad),(pad, pad),(0, 0)), 'constant', constant_values=0) return X_pa...原创 2018-08-06 09:31:01 · 1533 阅读 · 1 评论 -
Batch Normalization
3.4 Normalizing activations in a network我们知道对于单层模型(如LR),对输入数据进行Normalization可以加速训练过程,那么对于NN中的activation,我们是否也能做同样Normalization呢?答案是可以,Batch Normalization做的就是类似这样的事这里有一个争议,就是在激活函数之前(对z[l]z[l]z^{[...原创 2018-08-05 09:36:47 · 149 阅读 · 0 评论 -
反向传播算法
forward backward gradient of WWW col 3 is right-aligned $1600 col 2 is centered $12 zebra stripes are neat $1原创 2018-08-05 09:11:44 · 125 阅读 · 0 评论