- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 动手学深度学习之循环神经网络基础
循环神经网络 本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。其目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_tHt表示HHH在时间步ttt的值。HtH_tHt的计算基于XtX_tXt和Ht−1H_{t-1}Ht−1，可以认为HtH_tHt记录了到当前字符为止的序列信息，利用HtH_tHt对序列的下一个字符进...
2020-02-14 19:19:37
268
原创 动手学深度学习之语言模型与数据集
语言模型 所谓语言模型，当给定一个长度为TTT的词的序列w1,w2,...,wTw_1,w_2,...,w_Tw1,w2,...,wT，语言模型的目标就是评估该序列是否合理，即计算序列的概率：P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1,w2,...,wT) 概率越大，合理性越高。本节介绍基于统计的语言模型，主要是nnn元语法(nnn-gram)。 假设序...
2020-02-14 19:19:14
345
原创 动手学深度学习之文本预处理
文本预处理 文本是一类典型的序列数据，一篇文章可以看作是字符或单词的序列，当使用神经网络处理文本时，是无法直接作用于字符串的，需要对其进行预处理。本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本； 分词； 建立字典将每个词映射到一个唯一的索引(index)； 将文本从词的序列转换为索引的序列，方便输入模型； 读入文本 以H. G. Wells的小说The Time Mac...
2020-02-14 19:18:13
421
原创 动手学深度学习之多层感知机
多层感知机 多层感知机的基本知识 深度学习主要关注多层模型。本节将以多层感知机(multilayer perceptron,MLP)为例，介绍多层神经网络的概念。 隐藏层 下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。 表达公式 具体来说，给定一个小批量样本X∈Rn×dX\in R^{n\times d}X∈Rn×d，其批量大小为nnn，输入个数为ddd。假设多层...
2020-02-14 19:17:45
377
原创 动手学深度学习之softmax和分类模型
softmax和分类模型 softmax的基本概念 分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。 图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1,x2,x3,x4。 假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3y_1,y_2,y_3y1,y2,y3。 通常使用离散的数值来表示类别，例如y1=1,y...
2020-02-14 19:17:18
173
原创 动手学深度学习之线性回归
1. 线性回归基本要素 1.1 模型 所谓模型，即两种或两种以上变量间相互依赖的定量关系。例如：房价受其面积、地段与房龄等因素的制约 1.2 数据集 为了对某现象进行预测，需要已知该现象在一段时间内的确切数据。以期在该数据基础上面寻找模型参数来使模型的预测值与真实值的误差最小。在机器学习术语里，该数据集被称为训练数据集(training data set)或训练集(training set)，其中...
2020-02-14 19:16:39
354
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人