李宏毅机器学习——机器学习基本概念

https://www.bilibili.com/video/BV1eV411Q75r?p=2&vd_source=779fe6f5ae2ab98c0dc9480ff4ae61a3

基本概念

1. 机器学习：机器找函数的过程；
   函数的类别：regression、classification、Structured Learning（写文章，画图）
2. 如何找一个函数：
   2.1 使用linear model
   利用domain knowledge初始化一个带参数的函数：y = b + wx
   Model：带有未知parameters的function；
   feature：x
   weight：w
   bias：b
   2.2 根据训练数据定义一个Loss函数
   L（b, w）
   label：正确的数值；
   e = |y - y^|：L是MAE
   e = |y - y^|2：L是MSE
   error surface：
   2.3 Optimization
   w*,b*=arg min L
   使用Gradient Descent方法来优化；
   设置学习速率（超参数，用户自定义的值）；
   
3. 从linear model到flexible modle
   Modle bias
   piecewise Linear
   y = sigmoid(b + wx1)

Rectifiled Linear unit（activation function）
overfiltering：训练资料上loss降低，真实资料上loss增加；