李宏毅机器学习笔记（一）

机器学习笔记(一)

谨以此记录自己的学习笔记，小结以及心得。

1.Regression

• Regression分为三个步骤
• 建立模型
• 评价函数的优劣(从Function set中找出best function)
• 用训练集输入模型，评价函数的优劣，找出最好的函数
  （其中评价函数的好坏用损失函数（Loss function，以下简称L）的数值来评分。）
• 求最小损失函数的方法之一：梯度下降法（Gradient Descent）
  基本思想：对函数参数求微分，使得待求的参数为
  令微分为0，求出w。
  通过每次如下迭代，得到最终的w。
  
  然而，这里存在一个问题，微分为0的点可能是局部最小（对于Loss function），并不是全局最小的点。
  对于两个参数的模型，对两个参数分别求微分：
  
  随着每次迭代，L确实在变小，但是却不一定能到全局最小的点。可能卡在saddle point，亦可能卡在局部最小值。
  
  经过选择的模型在测试集上会产生比训练集更大的误差，需要重新选择模型。
  越复杂的模型在训练集上表现会更好，因为比其简单的模型是其子集。然而，更加复杂的模型在测试集的表现不一定更好。这就是过拟合问题。
  有以下调整方法：

.

• 考虑其他可能的变量，重新设计模型
• 正则化（Regularization）
  正则化目的在于寻找到一个较为平滑的函数模型，平滑的函数更可能有更好的效果。
  若输出与输入关系如下：
  
  原先的L如下：
  
  加入正则化后，L变为如下：
  
  这里为了得到最小的L,会同时限制w的大小，但是需要设置一个合适的参数来找到w。

以此作为Myblog的Demo