- 博客(13)
- 收藏
- 关注
RSS订阅原创 DL-Pytorch Task10:GAN;DCGAN
目录GANGAN对于生成式网络来说，给定一个dataset，我们希望生成式网络可以在这个dataset基础上生成一些新的但是又不属于原始dataset的数据。对于分类器网络来说，给定一个分类器，我们希望分类器可以成功将生成的数据与原始的dataset数据进行区分。由此我们构成一个GAN（Generative Adversarial Networks）生成对抗网络。对于分类器而言，我们希...
2020-02-24 10:10:24
247
原创 DL-Pytorch Task09:目标检测基础；图像风格迁移；图像分类案例
目录目标检测基础目标检测和边界框边界框锚框生成多个锚框交并比标注训练集的锚框输出预测边界框多尺度目标检测图像风格迁移方法预处理和后处理图像抽取特征定义损失函数内容损失样式损失总变差损失损失函数图像分类案例目标检测基础之前的检测只是一个简单的情形，即图片内容单一，比如说热狗检测，只要检测图片中是否有热狗，以及判断。而实际很多场景下是一个人手拿热狗或者一个人身边一辆车这些多目标情形，对于这种问题通...
2020-02-23 16:33:39
853
1
原创 DL-Pytorch Task08:文本分类；数据增强；迁移学习模型微调
目录文本分类图像增广微调（迁移学习）文本分类图像增广大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在...
2020-02-22 11:25:41
726
原创 DL-Pytorch Task07:优化算法进阶；word2vec；词嵌入进阶
目录优化算法进阶An ill-conditioned ProblemMaximum Learning RateSupp: PreconditioningSolution to ill-conditionMomentum AlgorithmExponential Moving AverageSupp由指数加权移动平均理解动量法Pytorch ClassAdaGradAlgorithmFeatureP...
2020-02-22 11:24:38
431
原创 DL-Pytorch Task06:批量归一化和残差网络；凸优化；梯度下降
目录批量归一化和残差网络批量归一化（BatchNormalization）1.对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化残差网络（ResNet）残差块（Residual Block）ResNet模型稠密连接网络（DenseNet）DenseNet模型凸优化梯度下降随机梯度下降参数更新动态学习率小批量随机梯度下降批量归一化和残差网络批量归一化（BatchNormaliz...
2020-02-22 11:23:05
323
原创 DL-Pytorch Task05:卷积神经网络基础；leNet；卷积神经网络进阶
目录卷积神经网络基础特征图和感受野填充和步幅卷积层与全连接层的对比卷积层的简洁实现池化层池化层的简洁实现LeNet卷积神经网络进阶深度卷积神经网络（AlexNet）使用重复元素的网络（VGG）⽹络中的⽹络（NiN）GoogLeNetTransformer多头注意力层Position-wise Feed-Foward Networks基于位置的前馈网络Add and Norm位置编码编码器解码器su...
2020-02-22 11:21:07
718
原创 DL-Pytorch Task04:机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
目录机器翻译及相关技术数据预处理分词建立词典载入数据集Encoder-DecoderSequence to Sequence模型损失函数训练Beam Search注意力机制与Seq2seq模型注意力机制框架Softmax屏蔽点积注意力多层感知机注意力引入注意力机制的Seq2seq模型解码器习题知识点机器翻译及相关技术将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机...
2020-02-22 11:19:33
765
原创 DL-Pytorch Task03:过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
目录过拟合、欠拟合及其解决方案训练误差和泛化误差过拟合与欠拟合权重衰减法（L2范数正则化）丢弃法梯度消失、梯度爆炸循环神经网络进阶GRU（Gate Recurrent Unit）GRU的简洁实现LSTM（长短期记忆long short-term memory）LSTM的简洁实现深度循环神经网络双向循环神经网络过拟合、欠拟合及其解决方案训练误差和泛化误差训练误差（training error）...
2020-02-22 11:16:57
346
原创 DL-Pytorch Task02:文本预处理；语言模型；循环神经网络基础
目录文本预处理读入文本分词用现有方法分词语言模型n元语法语言模型语言模型数据集时序数据的采样循环神经网络基础one-hot向量初始化模型参数定义模型裁剪梯度定义预测函数困惑度定义模型训练函数循环神经网络的简洁实现定义模型习题知识点摘录文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个...
2020-02-22 11:14:42
437
原创 DL-Pytorch Task01:线性回归；Softmax与分类模型；多层感知机
目录基本概念训练集、测试集、验证集损失函数优化算法线性回归的神经网络及代码实现线性回归模型的从零开始的实现线性回归模型使用pytorch的简洁实现softmax回归的神经网络及代码实现获取Fashion-MNIST训练集和读取数据多层感知机多层感知机pytorch实现基本概念训练集、测试集、验证集训练集是用来训练模型内参数的数据集。验证集用于在训练过程中检验模型的状态，收敛情况。验证集通常...
2020-02-22 11:12:52
459
原创 DL-Pytorch-notes 03
目录批量归一化和残差网络批量归一化（BatchNormalization）1.对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化残差网络（ResNet）残差块（Residual Block）ResNet模型稠密连接网络（DenseNet）DenseNet模型凸优化梯度下降随机梯度下降参数更新动态学习率小批量随机梯度下降批量归一化和残差网络批量归一化（BatchNormaliz...
2020-02-21 14:15:14
459
原创 DL-Pytorch-notes 02
机器翻译及相关技术将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。机器翻译是通过循环神经网络来实现的，但是使用的并不是传统的循环神经网络。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据预处理对数据集进行预处理，清洗数据，即去除或者替换一些容易使程序报错的乱码、在字母与标点之间添加空格、将所有字母转换成小写...
2020-02-15 18:36:07
557
原创 DL-Pytorch-notes 01
线性回归与softmax回归线性回归输出是一个连续值，因此适用于回归问题；softmax回归的输出是离散值，因此适用于分类问题，两者都是单层神经网络。训练集、测试集、验证集训练集是用来训练模型内参数的数据集。验证集用于在训练过程中检验模型的状态，收敛情况。验证集通常用于调整超参数，根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。同时验证集在训练过程中还可以用来监控模型是否发生过拟合...
2020-02-12 22:40:19
491
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人