机器学习笔记-逻辑回归

机器学习笔记-逻辑回归

0x00 系列文章目录

1. 机器学习笔记-KNN
2. 机器学习笔记-决策树
3. 机器学习笔记-逻辑回归
4. 机器学习笔记-信息熵

0x01 摘要

逻辑回归，一种名为回归其实是解决分类问题的算法。

0x02 详细介绍

逻辑回归中最要的sigmoid函数如下：

Sigmoid函数图像如下：

Sigmoid的好处是自变量取值为负无穷到正无穷，但是Y值属于(0,1)，且x=0时Y= 0.5。
逻辑回归和线性回归有着紧密的联系，看下逻辑回归的概率函数：

逻辑回归是概率取值，所以用cross entropy 做损失函数。

0x03 正则化

一般在过拟合时，需要增加训练集或者降低模型复杂度

降低模型复杂度可用正则化，控制模型复杂度，平衡损失函数和模型复杂度：

最小化 Loss(数据|模型给定) + 复杂度(模型)

逻辑回归默认使用L2回归

0x04 超参数

逻辑回归的超参数就是调整参数拉姆达：

注意，在sklearn中该参数为C，为拉姆达的倒数。

• C越大，正则化越弱，尽可能拟合训练样本数据，表示需要更多关注损失函数。适用于测试集中的样本与训练集中的样本相差不是很大时
• C越小，正则化越强，对单个样本的错误分类具有较强的容错度。表示需要更多关注模型复杂度，适用于测试集中的样本与训练集中的样本相差比较大的时候。

0xFE 总结

关于逻辑回归更多信息可以参考：

• 逻辑回归模型
• Logistic Regression 模型简介

0xFF 参考文档