Logistic回归模型和惩罚模型

Logistic回归模型

主题思想

是一个分类模型，通过对数据的分类边界线建立回归公式，从而实现分类。

激活函数

将连续的数值转化成0或1的输出。

Heaviside函数（阶梯跳跃函数）：

• 0到1的跳跃过程不平滑

Sigmoid函数：

• 0到1的渐变过程平滑

Logistic回归模型实现过程：

1. 将样本特征值与回归系数相乘
2. 再将所有特征值与回归系数的乘积相加
3. 最后将加和代入sigmoid函数
4. 输出一个范围在0-1之间的值
5. 结果大于0.5的样本归入1类，小于0.5的归入0类

Logistic回归模型公式：

Logistic损失函数：对数似然损失函数

即：

梯度下降法

• 无约束多元函数极值求解方法
• 一种常用的机器学习参数求解方法
• 通过迭代得到最小化的损失函数所对应的模型参数

基本思路：

• 在求解目标函数E(a) 的最小值时，a沿着梯度下降的方向不断变化求解最小值

什么是梯度：

假设优化目标是求解函数E(a)的最小值

• 参数a的梯度为函数E(a)的偏导数
• 因此a的迭代公式为：
  
  其中阿尔法为步长

什么是步长：

• 步长是梯度下降迭代的速度控制器
• 步长调小：收敛速度慢
• 步长太大：可能跳过函数最小值，导致发散

参数求解：梯度下降法
循环a和b：

设置循环次数或者阈值，当达到循环次数或者两次的值小于阈值时，迭代终止。

惩罚模型

惩罚（正则化）定义： 通过在模型损失函数中增加一个正则项（惩罚项）来限制模型的复杂度

惩罚项： 一般来说都是一个随着模型复杂度增加而增加的单调递增函数

惩罚项（正则化）的形式：
假设一个模型的损失函数为：

则加了惩罚项的损失函数为：

优化目标则变成：

正则化的优化目标：求解参数使得模型的误差最小，同时模型的复杂度最低

惩罚项（正则化）的目的：通过降低模型的复杂度，从而防止过拟合，提高模型的泛化能力

解释一：

• 奥卡姆剃刀原理
• 解释：能够用简单的方法达到很好的项目，就没有必要使用复杂的方法
• 原理推广：如果简单的模型就能够达到很好的预测效果，就没有必要选择复杂的模型

解释二：

• 在模型中使用更多的自变量，一般情况下都会提升模型在训练数据集上的表现，但同时也会提高模型的复杂度，降低模型在验证集上的泛化能力，造成过拟合。

常用的惩罚项（正则化）

以线性回归模型的损失函数为例，假设线性回归模型需要求解的参数为列向量A，数据集中有N个样本

• L1正则系数：lasso回归
  
  （所有参数绝对值之和）
• L2正则系统：ridge回归
  
  （所有参数平方的和再开方）

常用的惩罚项（正则项）特性：

L1正则系数：lasso回归

• L1是模型各个参数的绝对值之和
• L1可以将特征参数约束到0，因此L1会趋向于产生少量的特征，而其他的特征都是0
• L1也因此具有特征筛选的功能（被筛除的特征特征参数为0）
• L1通过融入少量的特征来防止过拟合

L2正则系统：ridge回归

• L2是模型各个参数的平方和的开方值
• L2只能减少特征参数值，让参数接近0，但不能将参数约束到0
• L2通过减少特征的参数值来防止过拟合