- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 动手学深度学习之循环神经网络基础
循环神经网络本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。其目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_tHt表示HHH在时间步ttt的值。HtH_tHt的计算基于XtX_tXt和Ht−1H_{t-1}Ht−1，可以认为HtH_tHt记录了到当前字符为止的序列信息，利用HtH_tHt对序列的下一个字符进...
2020-02-14 19:19:37
224
原创 动手学深度学习之语言模型与数据集
语言模型所谓语言模型，当给定一个长度为TTT的词的序列w1,w2,...,wTw_1,w_2,...,w_Tw1,w2,...,wT，语言模型的目标就是评估该序列是否合理，即计算序列的概率：P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1,w2,...,wT) 概率越大，合理性越高。本节介绍基于统计的语言模型，主要是nnn元语法(nnn-gram)。假设序...
2020-02-14 19:19:14
248
原创 动手学深度学习之文本预处理
文本预处理文本是一类典型的序列数据，一篇文章可以看作是字符或单词的序列，当使用神经网络处理文本时，是无法直接作用于字符串的，需要对其进行预处理。本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本；分词；建立字典将每个词映射到一个唯一的索引(index)；将文本从词的序列转换为索引的序列，方便输入模型；读入文本以H. G. Wells的小说The Time Mac...
2020-02-14 19:18:13
363
原创 动手学深度学习之多层感知机
多层感知机多层感知机的基本知识深度学习主要关注多层模型。本节将以多层感知机(multilayer perceptron,MLP)为例，介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。表达公式具体来说，给定一个小批量样本X∈Rn×dX\in R^{n\times d}X∈Rn×d，其批量大小为nnn，输入个数为ddd。假设多层...
2020-02-14 19:17:45
339
原创 动手学深度学习之softmax和分类模型
softmax和分类模型softmax的基本概念分类问题一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1,x2,x3,x4。假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3y_1,y_2,y_3y1,y2,y3。通常使用离散的数值来表示类别，例如y1=1,y...
2020-02-14 19:17:18
137
原创 动手学深度学习之线性回归
1. 线性回归基本要素1.1 模型所谓模型，即两种或两种以上变量间相互依赖的定量关系。例如：房价受其面积、地段与房龄等因素的制约1.2 数据集为了对某现象进行预测，需要已知该现象在一段时间内的确切数据。以期在该数据基础上面寻找模型参数来使模型的预测值与真实值的误差最小。在机器学习术语里，该数据集被称为训练数据集(training data set)或训练集(training set)，其中...
2020-02-14 19:16:39
291
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人