李宏毅深度学习P3-P4回归打卡

李宏毅深度学习P3-P4回归打卡

回归应用

一个具体的例子：宝可梦CP值的预测
第一步：模型

Y=b+w*Xcp （线性模型）

• Y：进化后的cp值
• X：进化前的cp值
• w,b：参数

第二步：找Fuction（a set of Function）
训练数据

找到一个损失函数，将训练数据和Function代入
损失越大，这个Function越不好

• 每个点代表一个Function
• 颜色代表损失函数的大小，越偏红色，损失值越大，越偏蓝色损失值越小

第三步 在a set of Function中找到最好的Function

找到w、b使得损失函数最小，可以通过梯度下降得到。

• 梯度下降(考虑一个参数的情况）
  1、随机选取一个初始的w0
  2、将loss函数对w0求导，如果是负的，增加w的值，如果为正，减小w的值。
  3、更新w0
  4、按照上述步骤更新w1、w2…直到满足条件停止，得到最终的w、b
  
• 两个参数的梯度下降
  
  
• 结果
  找另外十只宝可梦对以上步骤形成的模型进行测试
  
• 怎样做的更好——选择另外的模型（一步一步选择更加复杂的模型）
  
  
  越复杂的模型在训练数据上会有越好的效果，但是在测试数据上不一定，可能出现过拟合的现象。（选择一个最合适的模型，此例中是三次式）
• 也许还有其他因素的干扰
  
  考虑不同物种后回到第一步：
  
  考虑不同物种之后的结果：
  
• 回到第二步：正则化
  
  加入正则化项之后，得到的模形更加平滑，如果输入为噪音，对模型的影响更小。
  
• 越大的λ，会更少的考虑误差，所以在训练集中，λ越大，误差越大

视频链接:
https://www.bilibili.com/video/BV1Ht411g7Ef?p=5&spm_id_from=pageDriver