![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch深度学习
Edeeen1
这个作者很懒,什么都没留下…
展开
-
DL_Notebook 8.3_RMSProp/AdaDelta/Adam
优化算法进阶RMSPropAdaDeltaRMSProp解决AdaGrad学习率过渡衰减的问题。vt←βvt−1+(1−β)gt⊙gtxt←xt−1−ηvt+ϵ⊙gt\boldsymbol{v}_t \leftarrow \beta \boldsymbol{v}_{t-1} + (1 - \beta) \boldsymbol{g}_t \odot \boldsymbol{g}_t\\\bo...原创 2020-03-10 14:08:50 · 217 阅读 · 0 评论 -
DL_Notebook 8.2_Momentum/AdaGrad
算法优化进阶Momentumill-conditioned problem最大学习率Supp: PreconditioningSolution to ill-conditionMomentum深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)Notebook 8.1中MBGD,依然存在问题:learning rate的选择:容易...原创 2020-03-09 22:10:28 · 191 阅读 · 0 评论 -
DL_Notebook 8_梯度下降
梯度下降一维梯度下降现在使用 的随机梯度下降以及小批量梯度下降都是一维梯度下降原创 2020-03-07 15:26:36 · 292 阅读 · 0 评论 -
DL_Notebook 7_凸优化
优化与深度学习优化与估计优化在深度学习中的挑战local minimumsaddle point优化与估计尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标:训练集损失函数值深度学习目标:测试集损失函数值(泛化性)%matplotlib inlineimport syssys.path.append('/home/kes...原创 2020-03-02 13:20:25 · 201 阅读 · 0 评论 -
DL_Notebook 6_BN/ResNet/DenseNet
批量归一化和残差网络批量归一化 Batch Normalization1. 对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化从零实现批量归一化 Batch NormalizationBN是针对深层CNN的方法之一,有助于有效模型的训练。是对数据的标准化处理。对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使...原创 2020-02-29 21:40:43 · 194 阅读 · 0 评论 -
DL_Notebook 5.4_CNN进阶/NiN/GoogLeNet
文章目录NiN 网络中的网络GoogLeNetInception BlockGoogLeNet模型NiN 网络中的网络LeNet、AlexNet和VGG:先以由卷积层构成的模块充分抽取空间特征,再以由全连接层构成的模块来输出分类结果。NiN:串联多个由卷积层和“全连接” 层构成的小网络来构建⼀个深层网络。NiN用了输出通道等于标签类别数的NiN block(最后一个block),然后使用G...原创 2020-02-28 13:11:40 · 151 阅读 · 0 评论 -
DL_Notebook 5.3_CNN进阶/AlexNet/VGG
文章目录AlexNetVGGAlexNetLeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有大量深入研究参数初始化和非凸优化算法等诸多领域。AlexNet:首次证明了学习到的特征可以超越手工设计的特征,从而一举打破计算机视觉研究的前状。特征:1)8层变换,其中有5层卷积和2层全连接隐藏层,以及1个全连接输出层。2)将sigmoid激活函数改成...原创 2020-02-27 14:07:25 · 163 阅读 · 0 评论 -
DL_Notebook 5.2_CNN/LeNet
LeNetcourse contentCNNLeNetcourse contentlenet 模型介绍lenet 网络搭建运用lenet进行图像识别-fashion-mnist数据集CNN使用全连接层的局限性:图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像,使用全连接层容易导致模型过大。使用卷积层的优势:卷积层...原创 2020-02-26 14:05:51 · 135 阅读 · 0 评论 -
DL_Notebook 2.2_机器翻译/Encoder-Decoder
文章目录机器翻译机器翻译和数据集数据预处理分词建立词典载入数据集机器翻译机器翻译和数据集机器翻译不能直接用循环神经网络来实现,主要困难在于:输出是单词序列而不是单个单词, 输出序列的长度可能与源序列的长度不同。比如 3个 I am Chinese 得映射到 5个 我是中国人。import osos.listdir('/home/kesci/input/')OUT:[‘fraeng6...原创 2020-02-25 22:01:13 · 342 阅读 · 0 评论 -
DL_Notebook 4.2_RNN进阶/GRU/LSTM
文章目录循环神经网络进阶GRU Gated Recurrent Units载入数据集初始化参数GRU模型训练模型简洁实现LSTM(long short-term memory)循环神经网络进阶GRU Gated Recurrent UnitsGRU:门控循环神经网络RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT)。当时间步数比较大或者比较小的时候,循环神经网络的梯度容易出Vani...原创 2020-02-23 23:03:16 · 195 阅读 · 0 评论 -
DL_Notebook 2.1_NLP/文本预处理/语言模型
文章目录自然语言处理一、文本预处理读入文本分词建立字典将词转为索引用现有工具进行分词二、语言模型(基于统计)语言模型n元语法语言模型数据集读取数据集建立字符索引时序数据的采样随机采样相邻采样自然语言处理一、文本预处理把字符/单词 --> 数值 --> 才能被网络计算blabla读入文本import collectionsimport redef read_time_ma...原创 2020-02-21 20:23:28 · 362 阅读 · 1 评论 -
DL_Notebook 4.1_RNN基础
文章目录循环神经网络从0开始实现循环神经网络裁剪梯度clip gradient定义预测函数定义模型训练函数训练模型并创作歌词循环神经网络的简洁实现循环神经网络从0开始实现循环神经网络一个机器翻译预测的例子(伯禹学习的例子 www.boyuai.com)来体会循环神经网络裁剪梯度clip gradient循环神经网络很容易梯度衰减或梯度爆炸,因为它的反向传播方式是通过时间反向传播,分析模型...原创 2020-02-20 19:17:49 · 188 阅读 · 0 评论 -
DL_Notebook 5.1_CNN基础/padding/channel
文章目录卷积神经网络基础多输入通道和多输出通道卷积层 V.S 全连接层卷积神经网络基础class Conv2D(nn.Module): def __init__(self, kernel_size): super(Conv2D, self).__init__() self.weight = nn.Parameter(torch.randn(kernel_...原创 2020-02-19 21:02:28 · 322 阅读 · 0 评论 -
DL_Notebook 3_过拟合、欠拟合/梯度爆炸、消失
过拟合、欠拟合及其解决方案一些概念训练误差 Training error & 泛化误差 Generalized error: 前者 模型在训练数据集上表现出的误差 ; 后者 模型在任意一个测试数据样本上表现出的误差的期望,常常通过测试数据集上的误差来近似。计算二者可用损失函数,e.g.: 平方损失函数、Softmax用到的交叉熵损失函数。机器学习模型关注降低 Generalized...原创 2020-02-19 21:02:02 · 169 阅读 · 0 评论 -
DL_Notebook 1_Softmax/激活函数
线性回归线性回归理论知识blabla就不记录了,新手本人的python,pytorch陌生的东西的记录。广播语义一般语义 Genaral Semantics 和In-place Semantics不一样x与y满足可广播的四个条件:(遍历张量维度大小时,从末尾随开始遍历)1- both have size 12- trailing dimension: y has size 13-...原创 2020-02-14 20:46:18 · 250 阅读 · 0 评论