![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习理论知识
genous110
这个作者很懒,什么都没留下…
展开
-
PyTorch中反卷积的用法
pytorch中的 2D 卷积层 和 2D 反卷积层 函数分别如下: class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, groups=1, bias=True)class torch.nn.ConvTranspose2d(in_channels, out_channels, ke...转载 2019-05-29 22:03:49 · 10352 阅读 · 2 评论 -
极简解释inception V1 V2 V3 V4
Inception v1inception的核心就是把google net的某一些大的卷积层换成11, 33, 5*5的小卷积,这样能够大大的减小权值参数数量。直接上一张完整的图片可以看到,卷积了几步之后就开始出现并行的过程,换成几个11, 33, 55的卷积并列。然后再把分别卷积的结果作为层数维度上的合并。比方说这一层本来是一个2828大小的卷积核,一共输出224层,换成inceptio...转载 2019-04-23 15:07:24 · 369 阅读 · 0 评论 -
我搭的神经网络不 work 该怎么办!看看这 11 条新手最容易犯的错误
忘了数据规范化What?在使用神经网络的过程中,非常重要的一点是要考虑好怎样规范化(normalize)你的数据。这一步不能马虎,不正确、仔细完成规范化的话,你的网络将会不能正常工作。因为规范化数据这个重要的步骤在深度学习圈中早已被大家熟知,所以论文中很少提到,因此常会成为初学者的阻碍。How?大体上说,规范化是指从数据中减去平均值,然后再除以标准差的操作。通常这个操作对每个输入...转载 2019-04-23 19:35:58 · 142 阅读 · 0 评论 -
随便复制的关于并行计算的一些代码。这里很乱
并行计算内部代码 def data_parallel(module, input, device_ids, output_device=None): if not device_ids: return module(input) if output_device is None: output_device = device_ids[0...转载 2019-04-29 16:08:30 · 299 阅读 · 0 评论 -
resnet50 结构图
转载 2019-04-24 21:06:44 · 1745 阅读 · 0 评论 -
自己写模型
今天下午自己在哪里倒腾着,不小心写了个Module出来,当然没有写具体的运算。吓写的,但可以从这个不能运行的程序中,学会写模型应该怎么写class mylayer(torch.nn.Module): def __init__(self, inn=3, out=4): super(mylayer, self).__init__() self.inn = in...原创 2019-05-09 18:28:01 · 2236 阅读 · 0 评论 -
循环网络RNN的用法
RNN图解:上图中中间的箭头输出也是ht公式是 ht=tanh(wih * xt + bih +whh * h(t-1) + bhh),这里可能不只一层最后得出的yt = sigmoid(V*ht + c) 始终V是矩阵c是向量pytorch 代码理解:import torchrnn=torch.nn.RNN(input_size=20, hidden_size=50,...原创 2019-05-10 11:11:20 · 751 阅读 · 0 评论 -
ConvLSTM的用法
ConvLSTM的用法import torchfrom torch import nnimport torch.nn.functional as ffrom torch.autograd import Variable# Define some constantsKERNEL_SIZE = 3PADDING = KERNEL_SIZE // 2class ConvLSTMC...转载 2019-05-18 13:48:23 · 4297 阅读 · 1 评论 -
【深度学习】深入理解Batch Normalization批标准化
这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-Train开始就是...转载 2019-02-23 15:00:55 · 169 阅读 · 0 评论