![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
shiinerise
程序媛 ~ sunshine ~ 有强迫症 =.=
展开
-
【论文】预训练模型综述
本论文首发于我的微信公众号【shinerise】摘要:近年来,预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。并详细介绍自然语言处理领域的经典预训练模型,包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。最后,对预训练技术的未来发展趋势进行了展望。关键词:深度学习、自然语言处理、预训练模型文章目录1 引言2 预训练模型发原创 2020-05-13 21:16:07 · 1880 阅读 · 0 评论 -
cs224n学习笔记1——Introduction and Word Vectors
文章目录1 WordNet使用1.1 简介1.2 使用2 词向量前期发展2.1 one-hot2.2 SVD Based Methods2.2.1 Word-Document Matrix2.2.2 Window based Co-occurrence Matrix共现矩阵3 Word2vec3.1 n-gram3.2 skip-gram3.3 CBOW(Continuous bag-of-wor...原创 2020-05-01 10:33:39 · 430 阅读 · 0 评论 -
《动手学深度学习》task10_3 DCGAN
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录Deep Convolutional Generative Adversarial NetworksThe Pokemon DatasetThe GeneratorDiscriminatorTrainingSumma...原创 2020-04-21 11:13:04 · 499 阅读 · 0 评论 -
《动手学深度学习》task10_2 生成对抗网络GAN
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录Generative Adversarial NetworksGenerate some "real" dataGeneratorDiscriminatorTrainingSummaryExercisesGener...原创 2020-04-21 11:09:03 · 767 阅读 · 0 评论 -
《动手学深度学习》task10_1 图像分类案例2
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录Kaggle上的狗品种识别(ImageNet Dogs)整理数据集图像增强读取数据定义模型定义训练函数调参在完整数据集上训练模型对测试集分类并提交结果Kaggle上的狗品种识别(ImageNet Dogs)在本节...原创 2020-04-21 11:04:46 · 481 阅读 · 0 评论 -
《动手学深度学习》task9_3 图像分类案例1
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录Kaggle上的图像分类(CIFAR-10)获取和组织数据集图像增强导入数据集定义模型训练和测试Kaggle上的图像分类(CIFAR-10)现在,我们将运用在前面几节中学到的知识来参加Kaggle竞赛,该竞赛解决...原创 2020-04-21 11:02:51 · 417 阅读 · 0 评论 -
《动手学深度学习》task9_2图像风格迁移
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录样式迁移方法读取内容图像和样式图像预处理和后处理图像抽取特征定义损失函数内容损失样式损失总变差损失损失函数创建和初始化合成图像训练小结练习参考文献样式迁移如果你是一位摄影爱好者,也许接触过滤镜。它能改变照片的颜色...原创 2020-04-21 11:01:27 · 560 阅读 · 0 评论 -
《动手学深度学习》task9_1 目标检测基础
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录9.3 目标检测和边界框9.3.1 边界框9.4 锚框9.4.1 生成多个锚框9.4.2 交并比9.4.3 标注训练集的锚框9.4.4. 输出预测边界框小结9.5 多尺度目标检测9.3 目标检测和边界框%matp...原创 2020-04-21 10:59:20 · 618 阅读 · 0 评论 -
《动手学深度学习》task5——卷积神经网络基础及进阶笔记
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录1 卷积神经网络1.1 tensor.item()函数2 经典CNN网络的比较2.1 LeNet2.2 AlexNet2.3 VGG2.4 NiN(Network in Network)2.5 GoogleNet1...原创 2020-03-15 10:56:02 · 297 阅读 · 0 评论 -
《动手学深度学习》task8_3 模型微调
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录9.2 微调9.2.1 热狗识别9.2.1.1 获取数据集9.2.1.2 定义和初始化模型9.2.1.3 微调模型9.2 微调在前面的一些章节中,我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据...原创 2020-03-11 21:01:37 · 448 阅读 · 0 评论 -
《动手学深度学习》task8_2 数据增强
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录图像增广9.1.1 常用的图像增广方法9.1.1.1 翻转和裁剪9.1.1.2 变化颜色9.1.1.3 叠加多个图像增广方法9.1.2 使用图像增广训练模型9.1.2.1 使用图像增广训练模型图像增广在5.6节(...原创 2020-03-11 21:00:15 · 466 阅读 · 0 评论 -
《动手学深度学习》task8_1 文本分类
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录文本情感分类文本情感分类数据读取数据预处理数据创建数据迭代器使用循环神经网络双向循环神经网络加载预训练的词向量训练模型评价模型使用卷积神经网络一维卷积层时序最大池化层TextCNN 模型训练并评价模型文本情感分类...原创 2020-03-11 20:58:58 · 366 阅读 · 0 评论 -
《动手学深度学习》task7_3 词嵌入进阶
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录词嵌入进阶GloVe 全局向量的词嵌入GloVe 模型载入预训练的 GloVe 向量求近义词和类比词求近义词求类比词词嵌入进阶在“Word2Vec的实现”一节中,我们在小规模数据集上训练了一个 Word2Vec ...原创 2020-03-11 20:57:20 · 357 阅读 · 0 评论 -
《动手学深度学习》task7_2 word2vec
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764文章目录词嵌入基础PTB 数据集载入数据集建立词语索引二次采样提取中心词和背景词Skip-Gram 跳字模型PyTorch 预置的 Embedding 层PyTorch 预置的批量乘法Skip-Gram 模型的前向计算负采样...原创 2020-03-11 20:55:34 · 398 阅读 · 0 评论 -
《动手学深度学习》task7_1 优化算法进阶
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764文章目录11.6 MomentumAn ill-conditioned ProblemMaximum Learning RateSupp: PreconditioningSolution to ill-conditionMo...原创 2020-03-11 20:53:40 · 491 阅读 · 0 评论 -
NLP笔记,英文文本预处理流程,文本的向量表示方法,LSTM
文章目录1 一般的英文文本预处理流程2 文本有哪些向量表示方法3 LSTM的结构1 一般的英文文本预处理流程1 数据收集2 去除数据中非文本的部分3 分词4 词干提取(stemming)和词型还原(lemma)5 转化为小写6 去除停止词7 删除数字与符号8 特征工程2 文本有哪些向量表示方法one-hot,离散表示bag of words,词袋模型,将每个单词表现...原创 2020-03-10 14:56:53 · 1570 阅读 · 0 评论 -
《动手学深度学习》task6_3 梯度下降
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录梯度下降一维梯度下降学习率局部极小值多维梯度下降自适应方法牛顿法收敛性分析预处理 (Heissan阵辅助梯度下降)梯度下降与线性搜索(共轭梯度法)随机梯度下降随机梯度下降参数更新动态学习率小批量随机梯度下降读取数据从...原创 2020-03-09 16:27:03 · 287 阅读 · 0 评论 -
《动手学深度学习》task6_2 凸优化
系统学习《动手学深度学习》点击下面这个链接,有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764文章目录优化与深度学习优化与估计优化在深度学习中的挑战局部最小值鞍点梯度消失凸性 (Convexity)基础集合函数Jensen 不等式性质无局部最小值与凸集的关系凸函数与二阶导数限制条件拉格朗日乘子法惩罚项投影优化与深度...原创 2020-03-09 16:24:48 · 320 阅读 · 0 评论 -
《动手学深度学习》task6_1 批量归一化和残差网络
系统学习《动手学深度学习》点击这里,有全目录哦~本篇目录批量归一化(BatchNormalization)对输入的标准化(浅层模型)批量归一化(深度模型)1.对全连接层做批量归一化2.对卷积层做批量归一化3.预测时的批量归一化从零实现基于LeNet的应用简洁实现残差网络(ResNet)残差块(Residual Block)ResNet模型稠密连接网络(DenseNet)稠密块过渡层DenseNe...原创 2020-03-09 16:19:25 · 330 阅读 · 0 评论 -
《动手学深度学习》全系列目录
本系列是参加了伯禹平台组织的《动手学深度学习》系列的全目录,感谢伯禹平台及其他几个平台提供的极好的免费学习机会~这段时间的学习真的感觉我由一个深度学习的小菜鸟入了门!为了能够长时间的复习巩固学习成果,把原平台的jupyter文档转载了下来,以供自己能够长时间的学习。下面是《动手学深度学习》系列目录:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax...原创 2020-04-21 17:31:10 · 1375 阅读 · 3 评论 -
训练词向量中的二次采样
二次采样文本数据中一般会出现一些高频词,如英文中的“the”“a”和“in”。通常来说,在一个背景窗口中,一个词(如“chip”)和较低频词(如“microprocessor”)同时出现比和较高频词(如“the”)同时出现对训练词嵌入模型更有益。因此,训练词嵌入模型时可以对词进行二次采样。 具体来说,数据集中每个被索引词 wiw_iwi 将有一定概率被丢弃,该丢弃概率为P(wi)=max(...原创 2020-02-29 15:58:45 · 761 阅读 · 1 评论 -
《动手学深度学习》task4——机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer笔记
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 20:16:05 · 488 阅读 · 0 评论 -
《动手学深度学习》task4_2 注意力机制和Seq2seq模型
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 19:59:23 · 428 阅读 · 0 评论 -
《动手学深度学习》task5_3 卷积神经网络进阶
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 18:42:46 · 237 阅读 · 0 评论 -
《动手学深度学习》task5_2 LeNet
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 18:40:55 · 295 阅读 · 0 评论 -
《动手学深度学习》task5_1 卷积神经网络基础
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 18:38:41 · 322 阅读 · 0 评论 -
《动手学深度学习》task4_3 Transformer
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 18:36:35 · 459 阅读 · 0 评论 -
《动手学深度学习》task3——过拟合、欠拟合及解决方案,梯度消失、梯度爆炸,循环神经网络进阶笔记
系统学习《动手学深度学习》点击这里:《动手学深度学习》task1_1 线性回归《动手学深度学习》task1_2 Softmax与分类模型《动手学深度学习》task1_3 多层感知机《动手学深度学习》task2_1 文本预处理《动手学深度学习》task2_2 语言模型《动手学深度学习》task2_3 循环神经网络基础《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案《动手学...原创 2020-02-19 17:41:32 · 622 阅读 · 0 评论 -
《动手学深度学习》task4_1 机器翻译
目录机器翻译和数据集数据预处理分词建立词典载入数据集Encoder-DecoderSequence to Sequence模型模型:具体结构:EncoderDecoder损失函数训练测试Beam Search机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。 输出序列的长度...原创 2020-02-19 17:24:32 · 474 阅读 · 0 评论 -
《动手学深度学习》task3_3 循环神经网络进阶
GRURNN存在的问题:梯度较容易出现衰减或爆炸(BPTT)⻔控循环神经⽹络:捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1Whh+bh)H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})Ht=ϕ(XtWxh+Ht−1Whh+bh)GRU下面将介绍门控循环单元的设计。它引入了重置门(reset g...原创 2020-02-15 18:11:00 · 1249 阅读 · 0 评论 -
RNN详解、BPTT、LSTM
本文部分参考和摘录了以下文...转载 2020-02-15 15:40:42 · 565 阅读 · 0 评论 -
《动手学深度学习》task3_2 梯度消失、梯度爆炸
目录梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化考虑环境因素协变量偏移标签偏移概念偏移Kaggle 房价预测实战获取和读取数据集预处理数据训练模型K折交叉验证模型选择预测并在Kaggle中提交结果梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测...原创 2020-02-15 12:16:04 · 476 阅读 · 3 评论 -
《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案
@[TOC](目录)过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来...原创 2020-02-15 08:57:06 · 457 阅读 · 0 评论 -
《动手学深度学习》task2_3 循环神经网络基础
循环神经网络本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1,可以认为HtH_{t}Ht记录了到当前字符为止的序列信息,利用HtH_{t}H...原创 2020-02-14 16:33:05 · 545 阅读 · 2 评论 -
《动手学深度学习》task2_2 语言模型与数据集
语言模型一段自然语言文本可以看作是一个离散时间序列,给定一个长度为TTT的词的序列w1,w2,…,wTw_1, w_2, \ldots, w_Tw1,w2,…,wT,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:P(w1,w2,…,wT).P(w_1, w_2, \ldots, w_T).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型,主要是nnn元语...原创 2020-02-14 16:31:50 · 294 阅读 · 0 评论 -
《动手学深度学习》task2_1 文本预处理
文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:读入文本分词建立字典,将每个词映射到一个唯一的索引(index)将文本从词的序列转换为索引的序列,方便输入模型读入文本我们用一部英文小说,即H. G. Well的Time Machine,作为示例,展示文本预处理的具体过程。import collecti...原创 2020-02-14 16:30:21 · 338 阅读 · 0 评论 -
《动手学深度学习》task1_3 多层感知机
多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。表达公式具体来说,给定一个小批量样本X∈...原创 2020-02-14 16:28:50 · 561 阅读 · 0 评论 -
《动手学深度学习》task1_2 Softmax与分类模型
softmax和分类模型内容包含:softmax回归的基本概念如何获取Fashion-MNIST数据集和读取数据softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型使用pytorch重新实现softmax回归模型softmax的基本概念分类问题一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度。图像中的4像素...原创 2020-02-14 16:27:40 · 748 阅读 · 0 评论 -
《动手学深度学习》task1_1 线性回归
线性回归主要内容包括:线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+b\mathrm{pr...原创 2020-02-14 16:25:35 · 581 阅读 · 1 评论 -
《动手学深度学习》task1——线性回归、softmax与分类模型,多层感知机笔记
线性回归torch.mul(a, b)是矩阵a和b对应位相乘,a和b的维度必须相等,比如a的维度是(1, 2),b的维度是(1, 2),返回的仍是(1, 2)的矩阵torch.mm(a, b)是矩阵a和b矩阵相乘,比如a的维度是(1, 2),b的维度是(2, 3),返回的就是(1, 3)的矩阵torch.Tensor是一种包含单一数据类型元素的多维矩阵,定义了7种CPU tensor和8种G...原创 2020-02-14 16:11:48 · 606 阅读 · 0 评论