【台大李宏毅机器学习】机器学习基本概念

机器学习简介

Machine Learning is so simple …

本章节宏毅讲机器学习的三个步骤：

• Step 1: function with unknown
• Step 2: define loss from training data
• Step 3: optimization
• (Step1 ~ Step3称为Training，即我们说的训练、炼丹)

---

Step1 Function with unknown

线性模型太简单了，y = wx+b, w影响斜率，b影响截距，仅仅使用线性模型有很大局限性。 Model Bias

对于折线的模拟，可以设 f = constant + sum of a set of sigmoid.

Simoid Function
$$y=c\frac{1}{1+e^{-(b+w{x}_1)}}=c\ast sigmoid(b+w{x}_1)$$

通过修改参数，我们可以得到不同形状的sigmoid函数，以近似不同的情况：

修改w，函数的斜率发生改变；

修改b，函数发生左移右移；

修改c，函数高度发生改变；

引入多个特征, 公式中j表示特征个数，

$$y=b+w{x}_1\to y=b+\sum _j{w}_j{x}_j$$

将多特征的情况引入函数中，新的sigmoid function为：

$$y=b+\sum _i{c}_i\ast sigmoid(b+\sum _j{w}_{ij}{x}_j)$$

将上述公式经过推导后，得到矩阵形式的计算公式：

$$y=b+c^T\sigma (b+wx)$$

该公式为上述Step1中那个有未知参量的公式的一般形式。

---

Step2 define loss from training data

更换模型/function后，loss也是计算预测与真实值的差距。

$${\theta }^{\ast }=arg\underset{\theta }{\min }L$$

• (Randomly) Pick initial values $${\theta }^0$$
• Compute gradient以更新参数, $$g=\nabla L({\theta }^0)$$
• update $${\theta }^1\Leftarrow {\theta }^0-\eta g$$
• …
• continue update $${\theta }^{i+1}\leftarrow {\theta }^i-\eta g$$

实际上，在训练中随机将训练集分为batch，长度N的数据集按照size=B划分[N/B]个batch，而不是拿L来计算gradient。

1 epoch = see all the batches once

hypeparameter 超参数: 人设定值的参数

Example 1

• 10000 examples(N=10000)
• Batch size is 10(B=10)

How many update in 1 epochs?
N/B = 1000 updates

ReLU

常用的也不是soft sigmoid一种，还有一种经典的激活函数是ReLU.

Rectified Linear Unit(ReLU)的公式表示：

$$y=c\ast max(0,b+w{x}_1)$$

要使用ReLU替代Sigmoid，公式更改为：

$$y=b+\sum _{2i}{c}_{i}max(0,b_i+\sum _j{w}_{ij}{x}_j)$$

Which one is better?

输出层常用softmax、sigmoid，隐藏层常用ReLU.

Deep Learning

神经网络的重生之我是深度学习

Hidden Layer 代表一层中很多的 Neuron， Many layers means Deep。故Neural Network的应用被称为Deep Learning。

Why we want “Deep” network, not “Fat” network? AlexNet 8 layers, while ResNet 152 layers.

Overfitting : Better on training data, worse on unseen data.

过拟合的主要特征，在训练集上表现超级好，但是在没训练过的数据表现不太行；与之相关的还有欠拟合，欠拟合就是在训练集上也并没有表现特别好，还有学习的空间。

视频传送门
课程视频获取地址：
李宏毅《机器学习/深度学习》国语课程(2021)_哔哩哔哩_bilibili
本节笔记为视频中机器学习基本概念。
课程ppt及其他资料获取地址：
https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html