李宏毅 - 机器学习课程笔记 Weak 1

李宏毅 - 机器学习课程笔记

课程目录

1. Weak 1： https://blog.csdn.net/Doralim/article/details/132508655

Weak1

一、一些准备、线性回归

Machine Learning ≈ Looking for a function
机器学习本质上约等于找到一个拟合的函数

机器学习解决两种不同类型的方程

1. 回归（Regression）: The function output a scalar

2. 分类（Classification）: Given options, the function outputs the currect one.

1.How to find the function? —建模三部曲

例子：预测播放量

1.找到一个符合实际问题的函数，但是我们不知道他的参数

比如，我们随便选择一个函数： $y=b+wx$, $b$ refers to $bias$ and $w$ refers to $weight$.

那么我们如何根据问题就能确定我们的模型是这样一个线性形式的呢？- 基于当前问题的经验。
我们假设今天的播放量和昨天有关系，并且仅仅是个非常简单的线性关系
$$y=b+wx$$

2.定义损失函数（Loss Function）

$L(b,w)$称为损失函数 (Loss Function)，即我们选择一组$b$和$w$带入到之前定义的function（也就是我们的model）里面，然后根据将真实值与计算得出的预测值计算差距。

计算差距的方法：

1. Mean Absolute Error(MAE): $e=|y-\hat{y}|$
2. Mean Square Error(MSE): $e=(y-\hat{y}{)}^2$

Error Surface

3.Optimization（优化）

优化方法：梯度下降法 (Gradient Descent)

假设我们的损失函数还是刚才的例子$L(b,w)$。

1. 我们先不管参数$b$，只看参数$w$。那么根据$w$的变化，我们可能会得到以下的Error Surface:
   
2. 我们随便选取一个初始点$w^0$
3. 然后我们计算当前点的微分，根据公式：$w^1=w^0-\eta \frac{\partial L}{\partial w}$ 计算出下一个点$w^1$的值。$\eta$称为learning rate，用以控制学习的速率。这种在模型中需要自己设置的参数称为hyperparameter。
4. 重复迭代以上步骤，直到达到给定的步骤限制或者收敛为止。

4. 一些补充

我们在上面的例子中，只考虑了一个feature，即我们仅仅考虑了前一天的播放量$x_1$。但实际上，影响今天播放量，或者说对预测今天播放量有参考价值的数据不仅仅是前一天的播放量，还可能是前一周、前一个月的所有数据，考虑到这一点，我们的式子就变成了：
$$y=b+\sum _i{w}_i{x}_i$$
比如说，我们考虑前三天的播放量，那么预测的式子就变成了
$$y=b+w_1{x}_1+w_2{x}_2+w_3{x}_3$$
$w_i$表示权值，$x_i$表示前$i$天的播放量数据。
在本例中，我们使用了线性模型去拟合一个播放量随天数变化的曲线，以进行播放量的预测，这种使用线性模型去拟合曲线的方式成为线性回归（Linear Regression）。其中，仅考虑一天的情况（即变量只有一个）称为单变量线性回归，考虑多个天数的情况（即变量有多个）称为多变量线性回归。

二. 逻辑回归

仅仅是用一个线性模型（Linear Model）去表达实际问题往往是不可能的，所以我们需要一个更复杂的模型。

我们可以用一组函数叠加的方式，制造出一个更为复杂的图像

那么，我们如何得到那样的蓝色function呢？

-使用 sigmoid function 进行逼近

$$y=c\frac{1}{1+e^{-(b+w{x}_1)}}$$

使用不同的 sigmoid function ：

所以，对于上面多组蓝色functions的例子而言（现在我们应该知道这个蓝色functions被称为Hard Sigmoid Function），我们需要寻找相应的 Sigmoid Function 去逼近他们，然后把他们加起来，形成我们真正需要的目标曲线。
即：
$$y=b+\sum _i{c}_{i}sigmoid(b_i+w_i{x}_1)$$
好了，我们刚才式子讨论的就只有一个feature而已，即只有一个变量，套在咱们一脉相承的例子里就是今天的播放量只和昨天有关系，表现在公式中就是我们只有一个$x_1$。但是今天的播放量可能和之前$n$天都有关系，那么我们往往需要很多 features,考虑到这点之后我们的式子变成了这样：
$$y=b+\sum _i{c}_{i}sigmoid(b_i+\sum _j{w}_{ij}{x}_j)$$
啊？这是什么鬼啊？为什么外面有个求和，里面还有个求和？
要解释这样一个复杂式子，我们不妨类比以下来看看：

1.单个特征的线性表示
正如之前而言，如果我们仅仅考虑一个feature，那么我们的简单线性表达式可以写成这样：
$$y=b+w{x}_1$$

2.单个特征，引入多个sigmoid functions后的表示
那么我们引入多个 sigmoid functions，把这个曲线变得复杂后，上面的式子就变成了：
$$y=b+\sum _i{c}_{i}sigmoid(b_i+w_i{x}_1)$$
b是个常数，我们可以先不看他。由于我们引入了多个 sigmoid functions，所以我们理所当然的应该把这些函数加起来，变成一个新的复杂的曲线，这样我的求和符号解释清楚了。那么求和符号里面的，就是一个sigmoid function，复习一下sigmoid function长啥样：
$$c_{1}sigmoid(b_1+w_1{x}_1)$$
就是里面那样嘛~所以这个式子解释清楚了，表示的是：一个常数+一堆sigmoid functions

3.多个特征的线性表示
正如我们之前讲解的，我们考虑前三天播放量对今天播放量的影响，引入了前三天的播放量特征，于是我们的式子变成了这样：
$$y=b+\sum _i{w}_i{x}_i$$
对比只考虑一个特征的情况，仅仅是多了一次求和。
那么类比单个特征线性表示到单个特征引入多个sigmoid functions后的表示过程，最终我们的式子将变成什么样呢？

4.多个特征，引入多个sigmoid functions后的表示
首先，我们引入了多个特征，我们需要首先计算一下加入权值后我们得到的数值，即：
$$\sum _i{w}_i{x}_i$$
计算出来后，我们需要把这个结果输入到sigmoid function中，我们先考虑一个sigmoid function。所以这个式子就变成了这样：
$$c_{1}sigmoid(b_1+w_{sigmoid\_parameter1}\sum _i{w}_i{x}_i)$$
前后两个$w$明显是不一样的，一个是不同features的加权，一个是sigmoid表达式的参数，我做出了明显区分。
我们发现，上面式子的$w_{sigmoid\_parameter1}{\sum }_i{w}_i{x}_i$部分明显可以化简一下，把外面的$w$乘进去和里面的$w$合并一下，表示就方便多了:
$$c_{1}sigmoid(b_1+\sum _i{w}_{1i}{x}_i)$$
即我们用$w_{1i}$表示了$w_{sigmoid\_parameter1}\ast w_i$的结果。
好了，我们计算多个sigmoid function，有了上面的分析，我们就能轻松写出来最终的表达式：
$$y=b+\sum _j{c}_{j}sigmoid(b_j+\sum _i{w}_{ji}{x}_i)$$
我们最后用图再来巩固一下这个过程:
先解决多个特征（例子中是三个特征）的线性表示：

我们用$r_1,r_2,r_3$来表示结果，这个过程用线性代数表示为：
$$\left[\begin{array}{c}r1\\ r2\\ r3\end{array}\right]=\left[\begin{array}{c}b1\\ b2\\ b3\end{array}\right]+\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

然后，我们将$r1,r2,r3$分别带入到相应sigmoid function中

最后，我们乘上相应的$c_i$，加上常数$b$，就能得到最后结果

其中，$\sigma$代表$sigmoid()$。下面的那些方块代表的是该过程的线性代数表示。
我们不知不觉的做到了一件事，那就是将一个简单的线性边界，变成了一个复杂的、弯曲的边界，这种方式称为逻辑回归

3. 加入了Activation Function之后的建模三部曲

之前讲的Sigmoid函数就是一种激活函数（Activation Function）。

1. 定义了一个有未知参数的函数形式

即
$$y=b+c^{T}a$$

2. 定义Loss函数

这一部分没什么特别的，Loss函数我们用$L(\theta )$来表示。$\theta$表示之前提到的所有未知参数，包括上图中的矩阵$W,b,c$等等。

3. Optimization

仍然是梯度下降的方法。先选择一个初始值${\theta }_0$，计算所有参数的微分，形成一个向量。实际上这个向量就是我们在高等数学中学习的梯度，记为$\nabla L({\theta }_0)$。

$\eta$是我们之前提到的学习速率(Learning Rate)
与之前不同的是，我们不是一次性用所有的训练数据进行optimization算Gradient更新参数等等，我们是把数据分成$n$个batch。我们先用第一个batch中的数据算一个Loss $L_1$，使用$L_1$来更新参数。然后用下一个batch计算$L_2$，以此类推，直到计算完所有的batch。每更新一次参数，我们称为一次update。我们称计算完所有的batch为一个epoch。

4. ReLU激活函数

之前讲的Sigmoid函数是一种曲线，我们之前是用这样的曲线去逼近一个由直线段组成的曲线（我也不知道专业的怎么描述了！）。然而我们的ReLU激活函数是实打实的折线，具体就长这样：

这条曲线又是怎么生成的呢？ReLU曲线是由两个函数拼接而成，具体表示为：

所以，我们使用ReLU时要比使用Sigmoid函数要多两倍的函数数量。
Sigmoid函数我们在公式中用这样的形式来表示：${\sum }_i{c}_{i}sigmoid(b_i+{\sum }_j{w}_{ij}{x}_i)$，那么ReLU我们在公式中如此表示：${\sum }_{2i}{c}_{i}max(0,b_i+{\sum }_j{w}_{ij}{x}_i)$