sherryhwang的博客

深度学习常用函数模板

目录生成对抗网络原理纳什均衡JS散度的缺陷EM距离生成对抗网络原理我们无法知道数据的真实分布是什么，如何用数学公式表达；纳什均衡JS散度的缺陷EM距离

目录无监督学习AutoEncoderPCA和Auto-Encoderdenoising AutoEncoders 去噪自编码器Dropout AutoEncoderAdversarial AutoEncoder 对抗自编码器Variational AutoEncoder 变分自编码器Reparameterization VAE的隐变量的重参数化VAE生成模型AutoEncoder实战Variational AutoEncoder实战前面学习的：CNN便于处理位置相关性，对于时间维度的信号序列，使用RNN处

目录Pokemon Dataset数据集加载自定义数据集数据预处理图像数据存储结构代码构建模型训练模型迁移学习收集、读取、预处理数据，模型搭建、训练。Pokemon Dataset数据集加载自定义数据集__len__()函数返回数据集的数量，限制数据集迭代次数；__getitem__索引样本；import torchfrom torch.utils.data import Dataset class NumberDataset(Dataset): def __init_

目录时间序列表示word embeddingone-hot编码和语义相似性编码序列的batch表示循环神经网络RNN网络结构RNN形式化RNN网络训练RNN layernn.RNNnn.RNNCell时间序列预测实战时间序列表示word embeddingpytorch没有办法直接表示文字或语音，pytorch只支持数值类型，不能支持string类型，那必须把string类型表示为数值类型，这种方法就叫做representation或者word embedding。one-hot编码和语义相似性编

目录CIFAR数据集pytorch直接加载CIFAR数据集LeNet实现ResNet实战CIFAR数据集CIFAR数据集一共包含10个大类（CIFAR-10），每一个大类下面再划分10个小类（CIFAR-100）。CIFAR-10中，每一个类别大概含有6k张图像，每张图像大小为32x32，所以CIFAR-10一共含有6w张图像，随机选择5w为训练集，1w为测试集；pytorch直接加载CIFAR数据集import torchfrom torchvision import datasets,tra

目录卷积介绍卷积核和计算卷积输出特征图可视化nn.Conv2dF.conv2d池化层与采样池化与下采样上采样ReLUBatch NormalizationBN计算nn.BatchNorm1d(in_channels)nn.BatchNorm2d(in_channels)BN的优点经典卷积网络ImageNet图像分类任务LeNet-5AlexNet卷积介绍锐化：模糊：边缘检测：卷积核和计算卷积输出特征图可视化卷积神经网络低层的feature map观察的是低层的特征，比如图像中的角

目录模型的学习能力 model capacity欠拟合 underfitting过拟合 overfittingTrain-Val-Test划分Train-Test划分Train-Val-Test划分交叉验证正则化奥卡姆剃刀原理正则化的作用L1 Regularization / L2 RegularizationL2 RegularizationL1 Regularization动量与学习率衰减动量学习率衰减ReduceLROnPlateau管理optimizer 自动衰减学习率StepLR固定多少epoch

目录Logistic Regression交叉熵多分类问题Logistic Regression逻辑回归用于分类问题的预测。为什么分类问题不用以最小化准确率的目标来训练?可能会出现梯度消失或者梯度爆炸的问题。为什么要叫逻辑回归，而不是分类？二分类问题：多分类问题：多分类问题搭配softmaxsoftmax使预测较大的值相对更大交叉熵跟softmax匹配的loss交叉熵熵越高，代表信息越稳定，惊喜度越低。熵越低，代表不确定性高，惊喜度高。代码测试import

目录梯度介绍激活函数及其梯度Sigmoid/LogisticTanhReLULoss函数及其梯度均方差 MSEautograd.grad()求梯度loss.backward()求梯度Softmax交叉熵 CEL梯度介绍导数: 与梯度相近，针对一维函数，导数表示函数在x处的变换率；导数是一个标量，反应给定方向的函数值变换率，标量的长度反映了变换率的大小。偏微分: 函数对它自变量的变化率的描述程度，跟导数区别，导数方向可以随意指定，而偏微分只能是自变量的方向；函数有多少自变量就有多少偏微分；梯度: 函

目录python和Pytorch数据类型pytorch数据类型pytorch类型推断维度为0的标量标量判断维度为1的向量 Linear input维度为2的tensor Linear input batch维度为3的tensor RNN input维度为4的tensor CNN input其它的创建Tensor从numpy中引入 torch.from_numpy()从list中导入 torch.tensor()生成未初始化的tensor torch.empty()设置默认数据类型 torch

目录Pytorch发展及特点简单回归问题手写数字识别Pytorch发展及特点pytorch在torch7上进行开发的，2018年发布了第一个稳定的版本。google、TensorFlow基于theano构建。Keras后端为TensorflowFaceBook，Amazonpytorch借鉴了Chainer的API的设计规范。自然语言处理：AllenNLP计算机视觉：TorchVision图卷积神经网络：Fast.ai部署协议：onnx通过常用的网络层，堆叠一些复杂的神经网络。