逻辑回归
逻辑回归其实是一种分类算法
二分类和多分类问题
预测离散值的输出
0/1 负类和正类
Sigmoid function
Logistic function
决策边界是假设函数的属性不是数据集的属性。
数据集拟合确定参数,最后就有了确定的决策边界。
多分类问题
分成多个独立的二分类问题
利用数据集训练出的多个分类器。*
当输入新的x输入时,经过多个分类器得出,概率最大的值,即为所得值。 在此分类器达到最大。
过拟合和欠拟合问题
欠拟合:说明有高偏差
过拟合: 说明高方差 波动很明显不稳定 拟合了所有的数据。无法泛化新的样本,预测新的样本的输出值。
非常多的变量和较少的数据集那么就会出现过拟合现象。
过拟合现象的解决办法
第一种:减少变量的数量 特征变量
模型选择算法 自动舍弃变量
第二种:正则化
保存全部特征变量减少量级。
逻辑回归的正则化