机器学习李宏毅学习笔记1

前言

学习李宏毅老师机器学习视频日志。2021版视频 p2

---

机器学习就是让机器找一个函数，根据函数的输出来分类，可以分为回归（输出数字）、分类（输出一个类别）或者生成式学习（生成有结构的物件）。

一、机器学习的三大分类

机器学习分类：
Regression：输出是一个数值。输入多个数值 经过函数 输出结果数值。
Classification：结果是从设定好的选项/分类中选一个。
Structured learning：输出是一个结构化的。

二、机器学习三步骤

找函数的前置条件是决定要找什么样的函数，与技术无关，取决于想要做的应用，比如输入一个图片输出一个数值。

1.模型

1.基于领域知识，写出带有未知参数的函数（模型model）。
y=bias+weight*x;

第一步设定范围：订出候选函数的集合（model）。为什么要设定范围而不是把所有函数都考虑进来。应为有些函数在评价标准上是好的，但是在测试资料上效果是差的。期待划出一个范围，把在测试资料上不好的去掉。这个范围如果过大就会把一些不好的函数划进来，如果太小可能一个符合的函数都没有。当训练资料少的时候范围要小，当训练资料多的时候范围可以大（符合这个条件的函数比较少）。

近些年影像识别发展方向再往self-attention的方向上转，self-attention的范围更大适用于资料多的情况，影像处理的标注资料够多了，所以可以把范围画得更大一点。

2.Loss

第二步设定标准：订出评价函数好坏的标准（loss：函数的输出和标准答案的差距）。有标准答案时计算差距，没有时，对两个相近输入来说，输出比较接近才是一个好的函数。

2.为训练数据定义Loss，Loss是判断bias和weight的好坏，Loss：L=1/n*∑ |预测-实际|。

画出等高线error surface

Label：正确的数值，如y，图片中猫狗的种类等
MAE：误差的绝对值mean absolute error
MSE：误差的平方 mean square error

3.最佳化问题中的Gradient Descent

第三步达成目标：对第二步找出的loss最小的那个，比如使用梯度下降等方法进行优化。
在进行optimization的时候，需要调整超参数（hyperparameter）比如learning rate、batch size、初始化等等。这个参数指的是最佳化演算法的参数而不是神经网络的参数。

最佳化问题：找出最好的w->w和最好的b->b，使得loss最小。
方法：Gradient Descent：(最终问题不在于local minma)

3.1.假设b和w中只有一个未知：画出loss随未知量变化的曲线图。随机挑选一个w0，计算这一点的微分（斜率），斜率负的就提高w，斜率正的降低w。提高/降低的程度基于n（学习速率，自己设定）。

3.2.随机挑选w0，b0。

找到最好的b和w。
结束条件：1.设定次数 2.找到微分为0的点

Hyperparameters：在机器学习中要自己设定的东西叫hyperparameters
Global minima：loss最小值点
Local minma：loss极小值点

---

总结

视频地址：
1.
https://www.bilibili.com/video/BV13Z4y1P7D7/?p=2&spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=3a369b537e1d34ff9ba8f8ab23afedec

https://www.bilibili.com/video/BV1TD4y137mP?p=13&vd_source=3a369b537e1d34ff9ba8f8ab23afedec

https://www.bilibili.com/video/BV1TD4y137mP?p=14&vd_source=3a369b537e1d34ff9ba8f8ab23afedec