通过伯禹学习平台和Kesci平台,参与了一项14天学习《动手学深度学习》课程,这本书是由李沐等大神编写而成,并提供了配套的视频和源代码。这次活动主要是将里面的Mxnet 框架改成了PyTorch 框架实现了一遍,并由上海交大的老师们再次讲述了一遍。以下内容均是记录学习过程中的一些学习知识点。
Task 01
(1)线性回归
知识点1
在求数值解的优化算法中,小批量随机梯度下降(mini-batch stochastic gradient descent)在深度学习中被广泛使用。
知识点2
知识点3
知识点4
知识点5
(2) Softmax与分类模型
主要原理
(3) 多层感知机
激活函数的作用:
常用的激活函数:
ReLU
Tanh
Sigmoid
(4)文本预处理
文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:
- 读入文本
- 分词
- 建立字典,将每个词映射到一个唯一的索引(index)
- 将文本从词的序列转换为索引的序列,方便输入模型
我们可以通过引入更复杂的规则来解决这些问题,但是事实上,有一些现有的工具可以很好地进行分词,
我们在这里简单介绍其中的两个:spaCy和