暑期计划-7.25

今日完成

1.leetcode刷题三道，分别是

LeetCode-414. 第三大的数
leetcode-448.找到所有数组中消失的数字
leetcode-628.三个数的最大乘积

2.网易云课程——机器学习吴恩达第七章 正则化

机器学习总结

第七章 正则化（Regularization）

7.1 过拟合问题

• 什么是过拟合问题？

  过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合。

• 怎么处理过拟合问题？

  1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）
  2.正则化。 保留所有的特征，但是减少参数的大小（ magnitude）。

7.2 代价函数

• 正则化的基本方法是什么？

  在一定程度上减小某些项的参数θ的值

• 假如我们有非常多的特征，但是并不知道其中哪些特征要惩罚，怎么办？

  将对所有的特征进行惩罚，以下是一个较为简单的能防止过拟合问题的假设：
  
  λ是正则化参数。

• 那为什么增加的一项 可以使θ的值减小呢？
  因为如果我们令λ 的值很大的话，为了使 Cost Function 尽可能的小，所有的 θ的值
  （不包括θ0）都会在一定程度上减小。

7.3 正则化线性回归

• 正则化线性回归的代价函数是什么？
  
• 运用梯度下降法是上面的代价函数最小化，那么θ的更新公式是什么？
  

7.4 正则化的逻辑回归模型

• 正则化逻辑回归的代价函数是什么？
  
• 最小化代价函数，通过求导，得出梯度下降算法是什么？