Task01&Task02: 线性回归；Softmax与分类模型、多层感知机;文本预处理；语言模型；循环神经网络基础

1. 线性回归的基本要素: 模型、数据集、损失函数

2. 优化函数

优化函数的有以下两个步骤：

• (i)初始化模型参数，一般来说使用随机初始化；
• (ii)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。

3. 矢量计算

向量相加的两种方法。

1. 向量相加的一种方法是，将这两个向量按元素逐一做标量加法。
2. 向量相加的另一种方法是，将这两个向量直接做矢量加法

4. softmax和分类模型

(1)softmax回归的基本概念

(2)获取Fashion-MNIST数据集和读取数据

(3)softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型

(4)使用pytorch重新实现softmax回归模型

5. 多层感知机

(1)多层感知机的基本知识

(2)使用多层感知机图像分类的从零开始的实现

(3)使用pytorch的简洁实现

6. 文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

(1)读入文本

(2)分词

(3)建立字典，将每个词映射到一个唯一的索引（index）

(4)将文本从词的序列转换为索引的序列，方便输入模型

7.语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TT的词的序列w1,w2,…,wTw1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

P(w1,w2,…,wT).

8. 循环神经网络

目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。