机器学习入门

Introduction

什么是机器学习？

ML就是Look for Function，可用于语音识别、图像识别、人机游戏等。

类别

• Regression： The function outputs a scalar（标量）
• Classification： Given options（classes），the function outputs correct one
• Structured Learning： Create something with structure（image，document）

训练步骤

1. 猜测一个带未知参数的数学式Function，这就是初始的model；其中的输入x和输出y称之为feature
2. 定义Loss： Loss is a function of parameters. 有了Loss，我们就可以计算每一个已知参数的model上dataset的好坏，因此它是判断选择model的标准

不同的参数计算出的Loss画出的图就叫做Error Surface

3. Optimization最佳化：找出让Loss最小的参数

一种最常用的方法就是梯度下降法（Gradient Descent）

梯度下降法

假设有一个参数w（多个参数就相应求偏导）

1. Pick初始的w0（Random），但是也可以通过很好的预处理找到一个很好的初始值
2. 计算Loss对w0的的导数
   1. 如果导数<0，说明w增大Loss可以变小
   2. 如果导数>0，说明w减小Loss可以增大
   3. 如果导数=0，说明已经找到w的极值点
3. Update iteratively迭代：更新方向与导数方向相反，步长取决于导数大小和一个人为设定的Hyper Parameter，叫做learning rate

最大的痛点：

Model Bias：来源于Model的limitation，所以猜测model要更复杂且更有弹性