![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
韩绘锦
苟有恒何必三更灯火五更鸡,最无益莫过一日曝十日寒。
展开
-
卷积神经网络开放题论文作业
卷积神经网络开放题问题一:阅读提出上述两种网络的相关论文,试从数据集的预处理、激活函数的使用、训练方法的改进以及模型结构的变化等角度,从理论层面分析比较LeNet与AlexNet的结构差异,并尝试解释AlexNet为什么会具有对计算机视觉任务优越的处理性能。1.AlexNet使用了更加简单的ReLU激活函数,而LeNet使用的是Sigmoid激活函数2.AlexNet还在LeNet的基...原创 2020-03-10 22:07:48 · 651 阅读 · 0 评论 -
Datawhale 零基础入门数据挖掘-Task1 赛题理解
Datawhale 零基础入门数据挖掘-Task1 赛题理解一、 赛题理解Tip:此部分为零基础入门数据挖掘的 Task1 赛题理解 部分,为大家入门数据挖掘比赛提供一个基本的赛题入门讲解,欢迎后续大家多多交流。赛题:零基础入门数据挖掘 - 二手车交易价格预测地址:https://tianchi.aliyun.com/competition/entrance/231784/introduc...原创 2020-03-21 20:12:24 · 2851 阅读 · 0 评论 -
卷积神经网络开放题
卷积神经网络开放题数据集本次开放题将与课程内容保持一致,将使用图像数据集Fashion-MNIST [1] 进行计算机视觉任务的设计,该数据集由衣服、鞋子等服饰组成,共10个类别。这里简介将此数据集转换成卷积神经网络所需要的输入格式的方法:加载数据集首先导入本作业需要的包或模块。import torchvisionimport torchfrom matplotlib import...原创 2020-03-01 22:29:17 · 2502 阅读 · 0 评论 -
梯度下降
梯度下降(Boyd & Vandenberghe, 2004)%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh...原创 2020-02-25 22:30:43 · 120 阅读 · 0 评论 -
凸优化
优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标:训练集损失函数值深度学习目标:测试集损失函数值(泛化性)%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom m...原创 2020-02-25 22:30:00 · 164 阅读 · 0 评论 -
Transformer
Transformer在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网络(RNNs)。让我们进行一些回顾:CNNs 易于并行化,却不适合捕捉变长序列内的依赖关系。RNNs 适合捕捉长距离变长序列的依赖,但是却难以实现并行化处理序列。为了整合CNN和RNN的优势,[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transfo...原创 2020-02-25 22:29:12 · 225 阅读 · 1 评论 -
梯度消失、梯度爆炸
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...原创 2020-02-18 22:16:06 · 203 阅读 · 0 评论 -
ModernRNN
GRURNN存在的问题:梯度较容易出现衰减或爆炸(BPTT)⻔控循环神经⽹络:捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1Whh+bh)H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})Ht=ϕ(XtWxh+Ht−1Whh+bh)GRU:Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(X...原创 2020-02-18 22:10:52 · 128 阅读 · 0 评论 -
过拟合欠拟合及其解决方案
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛...原创 2020-02-17 00:16:22 · 223 阅读 · 0 评论 -
autograd自动求梯度、反向传播
import torchprint(torch.__version__)0.4.12.3 自动求梯度2.3.1 概念上一节介绍的Tensor是这个包的核心类,如果将其属性.requires_grad设置为True,它将开始追踪(track)在其上的所有操作。完成计算后,可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。注意在调用.b...原创 2020-02-17 00:12:12 · 389 阅读 · 0 评论 -
tensor基础操作及用法
2.2 数据操作import torchtorch.manual_seed(0)torch.cuda.manual_seed(0)print(torch.__version__)0.4.12.2.1 创建Tensor创建一个5x3的未初始化的Tensor:x = torch.empty(5, 3)print(x)tensor([[0.0000e+00, 1.0842e-...原创 2020-02-17 00:10:47 · 2842 阅读 · 0 评论 -
RecurrentNeuralNetwork
循环神经网络本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1,可以认为HtH_{t}Ht记录了到当前字符为止的序列信息,利用HtH_{t}H...原创 2020-02-16 17:40:15 · 145 阅读 · 0 评论 -
LanguageModel
语言模型一段自然语言文本可以看作是一个离散时间序列,给定一个长度为TTT的词的序列w1,w2,…,wTw_1, w_2, \ldots, w_Tw1,w2,…,wT,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:P(w1,w2,…,wT).P(w_1, w_2, \ldots, w_T).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型,主要是nnn元语...原创 2020-02-14 22:52:40 · 182 阅读 · 0 评论 -
TextPrepare
文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:读入文本分词建立字典,将每个词映射到一个唯一的索引(index)将文本从词的序列转换为索引的序列,方便输入模型读入文本我们用一部英文小说,即H. G. Well的Time Machine,作为示例,展示文本预处理的具体过程。import collecti...原创 2020-02-14 22:32:45 · 226 阅读 · 0 评论 -
MultilayerPerceptron
多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。表达公式具体来说,给定一个小批量样本X∈...原创 2020-02-14 22:26:24 · 3414 阅读 · 0 评论 -
SoftmaxClassify
softmax和分类模型内容包含:softmax回归的基本概念如何获取Fashion-MNIST数据集和读取数据softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型使用pytorch重新实现softmax回归模型softmax的基本概念分类问题一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度。图像中的4像...原创 2020-02-14 22:05:26 · 141 阅读 · 0 评论 -
LinearRegression
线性回归主要内容包括:线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+bprice...原创 2020-02-14 21:49:30 · 277 阅读 · 0 评论