【Datawhale X 李宏毅苹果书 AI夏令营】《深度学习详解》Task2 打卡

---

前言

本文是【Datawhale X 李宏毅苹果书 AI夏令营】的Task2学习笔记打卡。

---

学习目标

李宏毅老师对应视频课程：https://www.bilibili.com/video/BV1JA411c7VT?p=3
《深度学习详解》第一章主要介绍了深度学习中的基础数学知识。

一、线性模型

经过了前面的梯度下降优化过程以后，我们得到了通过训练数据估计出来的一个数学模型，其中y（预测某天的视频观看次数）和$x_1$（前一天的观看次数有关）。

但是视频观看次数有个周期性的规律，即一周有七天，在周末的时候，人们会去休息放松，所以学习视频的观看次数就会下降（暂时不考虑法定节假日和调休）。

这些模型都是把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。接下来会看如何把线性模型做得更好。

二、分段线性曲线

对于分段线性曲线，线性模型有很大的限制，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。

分段曲线可以逼近任何连续曲线

直接写 HardSigmoid 不是很容易，但是可以用一条曲线来理解它，用 Sigmoid 函数来逼近 Hard Sigmoid，如图 1.10 所示。Sigmoid 函数的表达式为
$$y=c\frac{1}{1+e^{-(b+w{x}_1)}}$$

调整参数，可以绘制出不同的 Sigmoid 函数

在机器学习里面，Sigmoid 或 ReLU 称为激活函数（activation function）。

Q: 优化是找一个可以让损失最小的参数，是否可以穷举所有可能的未知参数的值？

A：只有 w 跟 b 两个参数的前提之下，可以穷举所有可能的 w 跟 b
的值，所以在参数很少的情况下。甚至可能不用梯度下降，不需要优化的技巧。但是参数非常多的时候，就不能使用穷举的方法，需要梯度下降来找出可以让损失最低的参数。

经过上面的多个sigmoid函数的计算，可以得到比较有灵活性的损失函数。

如下图所示，未知参数可以组合成一个向量。

在训练数据和测试数据上的结果是不一致的，这种情况称为过拟合（overfitting）。

---

总结

每一排称为一层，称为隐藏层（hiddenlayer），很多的隐藏层就“深”，这套技术称为深度学习。