![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习与PyTorch入门实战教程
酸菜余
这个作者很懒,什么都没留下…
展开
-
循环神经网络(RNN)
单词文本如果采用one_hot编码,数据会稀疏且高维Word Embedding:将源数据映射到另外一个空间,其中这个映射具有injective(单射)和structure preserving(结构保存,比如在x所属的空间上x1<x2,那么映射后在y空间上同理y1<y2),常见的两种embedding方式为word2vec和gloveBatch[word num,b,word...原创 2020-01-13 20:34:00 · 420 阅读 · 0 评论 -
卷积神经网络(CNN)
模仿人眼的一个局部相关性、局部感受的机制(感受野),提出的网络叫做卷积神经网络,每次感受一个小的方块(视野),窗口方块移动时,权值是共享的。feature mappooling层(池化)下采样:BatchNorm优点:收敛更快;更好的性能;更具有鲁棒性经典的网络架构1. AlexNet(2012,8层)在ImageNet挑战赛上,将错误率降了10个百分点,吸引了众多学者的关注...原创 2020-01-11 09:24:51 · 666 阅读 · 0 评论 -
nn.Module模块的使用
特点每一层都是nn.Modulenn.Module都嵌套在nn.Module中常见的模块LinearReLUSigmoidConv2dConvTransposed2dDropoutetc.Container容器nn.Sequential()parameters参数管理net.parameters()net.named_parameters()to(dev...原创 2020-01-11 09:06:38 · 2363 阅读 · 1 评论 -
GAN介绍
What I cannot create, I do not understand.我没有创造出它,说明我对它没有理解透彻Nash Equilibrium(纳什均衡)GeneratorDiscriminatorGAN的原理:minGmaxDL(D,G)=Ex∼pr(x)[logD(x)]+Ez∼pz(z)[log(1−D(G(z)))]=Ex∼pr(x)[logD(x)]...原创 2020-01-10 10:05:09 · 306 阅读 · 0 评论 -
神经网络全连接的pytorch使用
Pytorch代码:import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsfrom visdom import Visdombatch_size=200...原创 2020-01-08 22:00:16 · 432 阅读 · 0 评论 -
交叉熵在机器学习中的使用
1、信息量概率越小,信息量越大,事件X=x0X=x_0X=x0的信息量为: I(x0)=−log(p(x0))I(x_0)=-log(p(x_0))I(x0)=−log(p(x0))2、熵熵表示所有信息量的期望:H(x)=−∑i=1np(xi)log(p(xi))H(x)=-\sum_{i=1}^n p(x_i)log(p(x_i))H(x)=−i=1∑np(xi)log(p(...原创 2019-07-29 11:26:13 · 362 阅读 · 0 评论 -
如何避免过拟合和欠拟合
减少过拟合:减少数据;将模型换成一个浅层模型;正则化;dropout;early stopping设置交叉验证将数据集分为训练集、dev和测试集dev用来提前防止训练过拟合,每隔一段时间观察testperformace,选取最好的性能模型test是真实交给客户,用来测量模型的真实性能,test不能用来反馈给模型训练K-fold交叉验证:每次迭代都随机将训练数据集划分为k份,将其中的k...原创 2020-01-08 15:47:38 · 553 阅读 · 0 评论 -
AutoEncoder介绍
什么是自动编码器自动编码器最开始作为一种数据压缩的方法,特点:1)跟数据相关程度高2)压缩数据是有损的应用:1)数据去噪 ???2)可视化降维3)生成数据 ???自动编码器的结构通常我们使用神经网络模型作为编码器和解码器。PyTorch实现自动编码器多层感知器class autoencoder(nn.Module): def __init__(self): ...原创 2020-01-08 15:46:09 · 777 阅读 · 0 评论 -
随机梯度下降
激活函数原始激活函数:阈值函数(大于0为1,小于0为0)缺点不可导改进激活函数:sigmoid(0~1之间)f(x)=σ(x)=11+e−xf(x)=\sigma(x)=\frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1优点是可导且易导:σ′=σ(1−σ)\sigma^{\prime}=\sigma(1-\sigma)σ′=σ(1−σ)缺点是会在两端会...原创 2020-01-02 21:57:01 · 214 阅读 · 0 评论 -
PyTorch的基础使用
基本数据类型torch.FloatTensortorch.ByteTensortorch.IntTensortorchl.cuda.FloatTensor利用函数a.type():返回数据类型type(a):python自带的数据类型检验,只能返回torch.Tensor,不能提供额外的信息isinstance():数据类型的检验...原创 2020-01-02 19:57:04 · 467 阅读 · 0 评论 -
训练集、验证集(dev)和测试集
在模型训练的时候通常将我们所得的数据分成3部分:训练集、dev验证集和测试集dev用来统计的那一评估指标、调节参数,选择算法;而test用来在最后整体评估模型性能dev和训练集一起被输入到模型算法中,但又不参与模型训练,可以一边训练一边根据dev查看指标dev和测试集都是用来评估模型好坏,但dev只能用来统计单一评估指标;而测试集能够提供更多的评估模型指标,如混淆矩阵、roc、召回率、F1...原创 2019-12-31 09:39:12 · 4198 阅读 · 0 评论 -
Tensor--什么是张量?
A tenseor is something that transforms like a tensor!在不同的参考系下按照某种特定的法则进行变换的一个量,就是张量从物理学角度张量是一个不随坐标而改变的,物理系统内在的量用张量语言描述的物理定律自动保证了不随参考系变化的这一性质从数学角度一维数据是向量,二维数据是矩阵,三维及其以上的数据称为张量张量的提出,目的是希望数据在...原创 2019-12-30 10:24:15 · 173 阅读 · 0 评论 -
深度学习初见
Google:TensorFlow(Keras)Facebook:PyTorch(Caffe)本质区别:动态图优先还是静态图优先动态图:在运行时可以改变公式,暂停,查看临时变量静态图:定义公式——给输入——返回输出(不能停下来和改变)...原创 2019-12-27 19:07:43 · 180 阅读 · 0 评论