java实现逻辑斯特回归_逻辑回归的相关问题及java实现

本讲主要说下逻辑回归的相关问题和详细的实现方法

1. 什么是逻辑回归

逻辑回归是线性回归的一种，那么什么是回归，什么是线性回归

回归指的是公式已知，对公式中的未知參数进行预计，注意公式必须是已知的，否则是没有办法进行回归的

线性回归指的是回归中的公式是一次的，比如z=ax+by

逻辑回归事实上就是在线性回归的基础上套了一个sigmoid函数，详细的样子例如以下

2. 正则化项

引入正则化项的目的是防止模型过拟合，函数对样本的拟合有三种结果

欠拟合：直观的理解就是在训练集上的误差比較大，拟合出来的函数应该是曲线，结果拟合成了一条直线

过拟合：在训练集上的误差非常小甚至为0，追求经验风险最小化，模型拟合的非常复杂，往往在未知的样本集上表现的不够好

合适的拟合：在训练集合測试集上都表现的比較好，追求经验风险和结构风险的均衡

解决过拟合的问题一般有两种方法，一是降低特征的维度，二是进行正则化。对降低特征的维度我的理解是造成过拟合的原因是特征太多样本太少，所以进行特征选择以降低特征会得到比較好的拟合效果，以下具体说一下正则化。

先看一下正则化的样子

事实上就是在损失函数里增加一个正则化项，正则化项就是权重的L1或者L2范数乘以一个lamda，用来控制损失函数和正则化项的比重，直观的理解，首先防止过拟合的目的就是防止最后训练出来的模型过分的依赖某一个特征，当最小化损失函数的时候，某一维度非常大，拟合出来的函数值与真实的值之间的差距非常小，通过正则化能够使总体的cost变大，从而避免了过分依赖某一维度的结果。当然加正则化的前提是特征值要进行归一化，比如有的特征的范围是200-500，有个特征的范围是0-1，这个时候就要进行归一化，比如都化为0-1之间。

3. 最小二乘法和最大似然法

最小二乘法，感觉名字起的不好，不能一目了然，有点拗口，事实上就是最小平方和的意思么，那么为什么用最小二乘法呢