第四部分：正则化

1.过拟合问题（Overfitting）

问题：如下图三，如果特征非常多，可以拟合出一个非常复杂并适合训练集的函数，但是对于新数据却基本上失去了分类功能。也即：x次数越高，拟合得越好，但是相应的预测能力也变差，比如         回归问题：

         如分类问题：

 解决方案：

       *丢弃一些不要的特征.可以手工选择，也可以选择一些模型选择算法（例：PCA）

        *正则化。也即保持特征，减小参数大小。

2.代价函数

问题：我们的模型是,正是这些高次项导致了过拟合

解决：减小高次项的参数，用来惩罚高次项。

修改代价函数：这样子就能尽可能惩罚高次项。但另一个问题就是：我们并不知道要选哪一个参数来惩罚。所以我们进一步对代价函数进行优化

正则化参数:选择不同的正则化参数会有不同的结果，正则化参数选小了会导致过拟合，正则化参数选太大，会导致模型变成：,如下图所示

3.线性回归的正则化 

线性回归的代价函数为：

正则化梯度下降算法：

 利用正规方程来优化线性回归模型：

 4.逻辑回归

逻辑回归的模型假设：

 正则化代价函数：

 python代码：

import numpy as np
def costReg(theta,Xy,learningRate):
    theta =np.matrix(X)
    X = np.matrix(theta)
    y = np.matrix(y)
    first =np.muitiply(-y,np.log(sigmoid(X*theta.T)))
    second = np.multiply(1 - y),mp.log(1 - sigmoid(X*theta.T)))
    reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:theta.sgape[1]],2))
    return np.sum(first - second)/(len(x)) +reg

梯度下降算法：