python/逻辑回归

正则化方法，防止过拟合，提高泛化能力

在机器学习算法中，常常将原始数据集分为三部分:training data、validation data 、testing data。
其中validation data用来避免过拟合， 根据validation data上的效果确定学习速率、迭代停止时机等。testing data则用来判断模型的好坏。

L2 regularization权重衰减

L2正则化就是在代价函数后面加上一个正则化项:

C0表示原始的代价函数。λ是正则化系数，n为训练集的样本大小，w为模型参数。意义就是所有参数w的平方和除以训练集样本大小，系数1/2为了计算方便。L2正则化项效果是减小w，防止参数w过大导致过拟合，更小的权值w，表示网络的复杂度更低。
正则化系数λ的值越大，表示对模型的复杂度惩罚越大。

L1 regularization

L1正则化是所有的权重w的绝对值的和，除以样本大小n，λ是正则化系数。L1正则化不需要乘以1/2。
L1的正则化的效果是当w>0时，更新后w变小；w<0，更新后w变大，让w往0靠拢，使网络中的权重尽可能为0，相当于减少模型复杂度，防止过拟合。

过拟合问题往往来源于过多的特征，解决的方法就是减少特征数量，或者正则化。

Logistic regression

转载:http://blog.csdn.net/pakko/article/details/37878837
http://www.cnblogs.com/guyj/p/3800519.html
Logistic回归主要用于二分类问题。
对于线性的决策边界，边界形式为:

，构造的预测函数如下，表示结果取1的概率，

结合0和1两种概率，可以写为:

通过最大似然估计来求解参数。参数的似然函数为:

转换为:

最终求平均值，得到代价函数为:

通常还要使用正则化的方法来约束模型的参数，防止过拟合。

$Cost(\Theta)$=

此外，f(x)需要添加常数b修正为: