初始PyTorch
记录学习过程
nooobme
绝不能躺平
展开
-
初始PyTorch(九):对抗生成网络GAN
生成对抗网络GAN包含一个生成器(Generator)和一个判别器(Discriminator)。生成器用来生成假图片,判别器则用来区分,输入的图片是真图片还是假图片。生成器希望生成的图片可以骗过判别器(以假乱真),而判别器则希望提高辨别能力防止被骗。两者互相博弈,直到系统达到一个稳定状态(纳什平衡)。1.训练D:G:2.纳什平衡当G固定住,训练D:当D固定住,...原创 2020-03-29 20:05:52 · 297 阅读 · 0 评论 -
实战PyTorch(三):Auto Encoder & Variational Autoencoder
1.Auto Encoder具体流程:输入==RESHAPE==>784=>1000=>1000=>20=>1000=>1000=>784==RESHAPE==>输出1.网络网络层:encoder{[b, 784] => [b, 20]} + decoder{[b, 20] => [b, 784]}连接层:input....原创 2020-03-27 22:36:04 · 784 阅读 · 1 评论 -
初始PyTorch(八):自编码器Auto-Encoders
XXX原创 2020-03-27 20:48:34 · 452 阅读 · 0 评论 -
实战PyTorch(二++):宝可梦自定义数据集之迁移学习
X原创 2020-03-27 18:06:10 · 694 阅读 · 0 评论 -
初始PyTorch(六+):ResNet18的网络结构
使用ResNet18网络结构,为了更好适配Cifar-10数据集【h*w=32*32】,所以不是完全按照renset18的参数写的。下图是ResNet18的内部结构图。先写内部结构:有两层的weight layer。class ResBlk(nn.Module): def __init__(self, ch_in, ch_out, stride=1): s...原创 2020-03-27 14:00:09 · 5119 阅读 · 0 评论 -
实战PyTorch(二+):宝可梦自定义数据集之迁移学习
4 stepsLoad data Build model Train and Test Transfer Learning Load data Build model 使用ResNet18和ResBlkclass ResBlk(nn.Module): """ resnet block """ def __init__(self, ...原创 2020-03-27 15:37:25 · 947 阅读 · 1 评论 -
实战PyTorch(一):Bi-LSTM 情感分类实战
使用Google Colaboratory来做实验原创 2020-03-26 21:03:14 · 2386 阅读 · 0 评论 -
实战PyTorch(二):宝可梦自定义数据集之迁移学习
使用数据集:宝可梦【皮卡丘:234,超梦:239;杰尼龟:223;小火龙:238;妙蛙种子:234】思想:数据较少,可以利用迁移学习来获得好的效果。4 stepsLoad data Build model Train and Test Transfer Learning▪ Load dataInherit from torch.utils.data.Dataset 提...原创 2020-03-26 23:06:42 · 1555 阅读 · 1 评论 -
初始PyTorch(七):循环神经网络RNN
循环神经网络CNN,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅这次的输入x,还包括上一时刻隐藏层h。RNN公式:——>,。一、tensor表示输入x:[input_num,batch,feacture_num]特征xt:[batch,feactur...原创 2020-03-25 21:56:08 · 615 阅读 · 0 评论 -
初始PyTorch(六):卷积神经网络CNN
CNN的主要操作:Convolution(提取特征)~ 激活函数(ReLU 、Pooling等) ~ Fully connected layers(分类)eg:4层的神经网络(不包括第一层即输入层),其中有3个隐藏层和1个输出层【每一层包含输入它的参数和它的输出】。对于MINST数据集像素为28*28,维度变换为[784,256]~[256,256]~[256,256]~[256,10]...原创 2020-03-25 09:46:40 · 525 阅读 · 0 评论 -
初始PyTorch(五):过拟合&欠拟合
x原创 2020-03-24 17:29:40 · 348 阅读 · 0 评论 -
初始PyTorch(二):激活函数
激活函数:1.Sigmoid/logistica=torch.linspace(-100,100,10)torch.sigmoid(a)原始a:sigmoid后:缺陷:当x->+∞时,σ'=0,导致参数θ=θ-lr*θ'得不到更新,也就是梯度离散问题。2.Tanha=torch.linspace(-1,1,10)torch.tan...原创 2020-03-23 17:47:16 · 230 阅读 · 0 评论 -
初始PyTorch(一):梯度下降
一、梯度下降法损失函数:loss=def loss(b, w, points): totalError = 0 for i in range(0, len(points)): x = points[i, 0] y = points[i, 1] totalError += (y - (w * x + b)) ** 2 ...原创 2020-03-23 16:06:37 · 378 阅读 · 0 评论 -
初始PyTorch(三):感知机&MLP反向传播
1.单层感知机σ只有一个,其中。求导过程:2.多层感知机,其中求导过程:3.MLP反向传播原创 2020-03-23 22:50:49 · 398 阅读 · 0 评论 -
初始PyTorch(四):均方差&交叉熵
信息熵:,越大越稳定。交叉熵:,。其中KL散度代表了两个分布的,重合度越高,KL散度值越低,完全重合KL散度为0。 如果P=Q时,H(p,q) = H(p), 对于one-hot编码,若使模型预测的Pθ(p,q)接近真实值Pr(p,q),两者相等时即为H(p,q)=0。二分类问题举例:非cat即dog设真实值为y,预测值为p,H(y,p) = -(ylogp + (1-y)log...原创 2020-03-24 16:31:38 · 545 阅读 · 0 评论