机器学习大型笔记—Regression

概要

现有的三大类任务：Regression和Classification，做的比较成熟，超级深坑—Generation（产生语句，画图）

怎样告诉机器，你想找什么样的函数

最常见的例子——Supervised Learning

1. 需要给机器大量的训练数据，以及理想输出（Label）。
2. 函数的Loss，判断这个函数有多好，或者多不好
3. 接下来机器自动找出Loss最低的Function

Reinforcement Learning（vs. Supervised Learning）

以围棋为例：
Supervised：给出一张围棋的图像，然后下一步应该走在哪里
Reinforcement Learning：First move->……many moves……->Win！
机器输或赢的结果就是Reward，是机器学习的方向。

UNsupervised Learning

给出大量没有标注的数据

给定机器函数寻找的范围

函数寻找方法 - Gradient Descent

圆圈Easy 三角Normal 五角星Challenging
Network Compression-> 怎么把巨大的模型加载在移动设备或更小的设备上。
Transfer Learning -> 如何基于现有结果的基础上，让他更加试用
Meta Learning -> 让机器学习如何学习（普遍的效率很低）
现在大部分的机器学习天分不佳，只能靠后天刻苦训练来变得更强。
Life-long Learning->让机器终身学习，学习一系列的任务，不限范围。

Regression

Application：

1. Stock Market Forecast
2. Self-driving Car
3. Recommendation

Step1： Model

$y=b+w\ast x$
w 和 b 是可为任意值的参数
线性模型：$y=b+\sum w_i{x}_i$
$x_i$：输入x的一个属性（feature）$w_i$：权重 b：偏重（bias）

Step2：Goodness of Function

Traning Data:$(x^1,{\hat{y}}^1)(x^2,{\hat{y}}^2)(x^3,{\hat{y}}^3)$……$(x^n,{\hat{y}}^n)$
有了训练集以后就可以定义一个Function的好坏：Loss Function
L：Input：a function，Output：how bad it is
$L(f)=L(w,b)$ 获取一个function告诉你这个function的好坏
$L(f)={\sum }_{n=1}^N({\hat{y}}^n-(b+w\ast x^n){)}^2$ 估测误差

Step3: Best Function—Gradient Descent

A set of function -》Goodness of function f 《- Training Data
$f^{\ast }=arg\underset{f}{\min }L(f)$
$w^{\ast },b^{\ast }=arg\underset{w,b}{\min }$