【机器学习】（李宏毅）task02

task02回归

**1.定义：**就是找到一个函数function,通过输入特征x，输出一个数值Scalar。
2.应用举例：
股市预测（Stock market forecast）
输入：过去10年股票的变动、新闻咨询、公司并购咨询等
输出：预测股市明天的平均值
自动驾驶（Self-driving Car）
输入：无人车上的各个sensor的数据，例如路况、测出的车距等
输出：方向盘的角度
商品推荐（Recommendation）
输入：商品A的特性，商品B的特性
输出：购买商品B的可能性
Pokemon精灵攻击力预测（Combat Power of a pokemon）：
输入：进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）
输出：进化后的CP值
3.模型步骤：
step1：模型假设，选择模型框架（线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）
Step 1：模型假设 - 线性模型
一元线性模型（单个特征）
以一个特征 x cp为例，线性模型假设 y = b + w·x_{cp}y=b+w⋅x cp，w 和 b 可以猜测很多模型。
多元线性模型（多个特征）
在实际应用中，输入特征肯定不止一个xcp,有多个xcp。


Step 2：模型评估 - 损失函数
【单个特征】：xcp
1.收集和查看训练数据
2.如何判断众多模型的好坏:从数学的角度来讲，我们使用距离。也就是使用损失函数（Loss function） 来衡量模型的好坏。


step3:最佳模型-梯度下降
【单个特征】：xcp
1.如何筛选最优的模型（参数w，b）
首先在这里引入一个概念 学习率 ：移动的步长，如图7中 \etaη
步骤1：随机选取一个 w^0
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
大于0向右移动（增加ww）
小于0向左移动（减少ww）
步骤3：根据学习率移动
重复步骤2和步骤3，直到找到最低点

梯度下降推演最优模型的过程

每一条线围成的圈就是等高线，代表损失函数的值，颜色约深的区域代表的损失函数越小
红色的箭头代表等高线的法线方向
梯度下降算法在现实世界中面临的挑战
问题1：当前最优（Stuck at local minima）
问题2：等于0（Stuck at saddle point）
问题3：趋近于0（Very slow at the plateau）
4.如何验证训练好的模型的好坏
1.更强大复杂的模型：1元N次线性模型
2.过拟合问题出现
步骤优化：
Step1优化：2个input的四个线性模型是合并到一个线性模型中
Step2优化：如果希望模型更强大表现更好（更多参数，更多input）
Step3优化：加入正则化（更多特征，但是权重 ww 可能会使某些特征权值过高，仍旧导致overfitting，所以加入正则化）