ML讲座1 线性回归-1

ML讲座1：回归 - 案例研究 李宏毅
视频地址：https://www.youtube.com/watch?v=fegAeph9UaA
看完视频以后简单总结一下收获，以便日后复习，主要简单介绍几个入门级概念。
如果我们需要解决一个问题，例如神奇宝贝的进化问题，神奇宝贝有cp值、种类、身高、生命值等，如何找到一个函数function，使得输入是cp值，输出是进化后的cp值呢？

model

model的选择是机器学期解决问题的第一步
什么是一个model：y = b + w*x就是一个model
什么是一个function set：model中可以包含的所有可能的函数集合例如
f1: y = 10+9.8x
f2: y = 11+9.2x
f3: y = -12-9x
…
这些所有可能出现的b和w的组合构成model的集合
机器学习要做的就是在function set 中找到一个合适的function，最暴力的方法是列举所有的model的function set 然后选择一个效果最好的。

loss function

如何衡量function的好坏，需要定义一个loss function，它是函数的函数，即输入是一个function输出是一个数值表示这个function有多糟糕。
L表示loss function： L(f) = L(w,b)因为f是由参数w,b决定的。
最常用的方式就是：

这个非常易懂不多解释。

gradient descent

如何决定每一次向什么方向更新，就需要使用梯度下降法，梯度下降法大家都很容易理解，以斜率为例子，越陡峭每一步走的就更远一些。
一个参数就是求微分，多个参数就是求偏微分，然后再更新相应的参数。
大家可能有这样的疑问，万一先到a，梯度为0了怎么办。在线性回归问题中，我们不需要考虑先到达a局部最优的问题（local minimal）

overfitting

为了获得更好的效果，我们设计几个不一样的model
model1: y = b + wx
model2: y = b + w1x + w2(x^2)
model3: y = b + wx + w2(x^2) + w3(x^3)
…

随着模型的越来越复杂，可以看到在训练集上结果是越来越好了，这是可解释的，因为可以看到model3是涵盖model2涵盖model1的，但是在test的时候效果却随着模型的变复杂而变差，这就是产生了过拟合。

regularization

为了解决过拟合问题，在loss function中加入一项内容意思是期待参数的值越小越好这样的到的就是比较平滑的，因而能对输入的变化更加不敏感。为什么没有加b，因为不需要考虑偏执，平滑程度不需要考虑上下移动的。
当真实数据与x只相差△xi的时候,如果wi很小，那么结果的偏差也是很小wi*△xi,所以会更平滑更稳定。