《动手学深度学习》第一次打卡-学习小队

一、学习任务：

1. Task01：线性回归；Softmax与分类模型、多层感知机
2. Task02：文本预处理；语言模型；循环神经网络基础

二、线性回归

2.1 训练误差与泛化误差

2.2 验证数据集

预留一部分在训练数据集和测试数据集以外的数据来进行模型选择

2.3 K折交叉验证

把原始训练数据集分割成K个不重合的子数据集，然后使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型，最后对这K次训练误差和验证误差分别求平均

2.4 过拟合与欠拟合

2.5 模型复杂度

2.6 权重衰减——L₂范数正则化

权重衰减等价于L₂范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。

引入L₂正则化的线性回归的损失函数

2.7 丢弃法

三、softmax和分类模型

https://blog.csdn.net/qq_43660987/article/details/91613522

3.1 原理

将单样本分类通过矢量计算来表达。假设softmax回归的权重和偏差参数分别为

设高和宽分别为2个像素的图像样本i的特征为

输出层的输出为

预测为狗、猫或鸡的概率分布为

softmax回归对样本分类i的矢量计算表达式为

3.2 交叉熵损失函数

3.2.1 交叉熵

3.2.2 交叉熵损失函数

四、多层感知机

虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为W_hW_o，偏差参数为b_hW_o。不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。

4.1 激活函数

4.1.1 ReLU函数

ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定x元素，该函数定义为

可以看出，ReLU函数只保留正数元素，并将负数元素清零。

4.1.2 Sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间：

4.1.3 tanh函数

tanh（双曲正切）函数可以将元素的值变换到-1和1之间：