机器学习——笔记02（回归分析）

机器学习

• 任务：找到一个function
• 步骤：
  ①模型
  ②代价函数
  
  
  ③找到最好function
  
  
  局部最优，不一定是全局最优。跟起始位置有关。如上图，从左边起，微分为零找到的是局部最优；从右边起，微分为零找到的是全局最优。
  两个参数的情况如下，分别计算偏微分，一步步修正两个参数。
  
  
  
  注意，鞍点是微分是零但不是极值的点。还有，特别平滑的地方可能会被误以为是极值点附近了，停止更新。（线性回归问题不必担心）
  
  偏微分的计算

回归分析

回归分析，输出一个数值

demo

Python
jupyter notebook，matplotlib绘图

结果

过拟合现象，复杂的模型不一定总是可以给出很好的拟合。

过拟合。

重新设计模型

考虑到宝可梦的种类因素的影响，重新设计模型。

冲击函数（多因素）

根据猜测将可能有关的因素丢进模型中，CP、HP、W、H等。

结果，过拟合了。

正则化（平滑函数）

输入的变化并不会太大的影响输出，即为平滑。在多数情况下，平滑的函数更有可能是正确的。