Python学习记录 逻辑回归

逻辑回归的应用

什么是逻辑回归

逻辑回归，简称LR
它可以将我们离散的特征输入集合转换为0和1这两类的概率
它只有两种结果的选择
比如说购买商品可以选择买或者不买

逻辑回归适合的算法模型

逻辑回归会将特征值转化为0,1
它可以用于解决二分的问题

逻辑回归的原理

逻辑回归=线性回归+sigmoid函数（激活函数）

什么是线性回归

• 用数理统计中回归分析，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析

什么是激活函数

• 当输入值趋于无穷小时，函数值趋近于0，输入值趋近于无穷大时，函数值趋近于1

线性回归与逻辑回归

线性回归

比如用重量来预测尺寸
那就要通过以下的步骤来实现

1. 获取数据，包含重量和尺寸
2. 建立模型，拟合出一条直线
3. 预测

逻辑回归

用重量来判断是否肥胖

相关举例

• 预测病人有没有生病，要么生病，要么没病
• 正例：猜测正确，反例：猜测错误
• 真正类，真反类，假反类，假正类

精确度

• 预测结果为正例样本中真是为正例的比例，用于表示差的准不准

召回率

• 真实为正例的样本中预测结果为正例的比例（表示查的全，对正样本的区分能力）

综合指标

• 公式F1
• F1越大越好

逻辑回归算法实现步骤

1. 导入模块
2. 创建训练集合测试集
3. 创建分类器
4. 训练得到预测模型
5. 使用预测模型进行预测

优缺点

优点

1. 实现简单，广泛的应用于工业问题上
2. 当分类时计算量非常小，速度很快，存储资源低
3. 便利的观测样本概率分数
4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题
5. 计算代价不高，易于理解和实现

缺点

1. 当特征空间很大时，逻辑回归的性能不是很好
2. 容易欠拟合，一般准确度不太高
3. 不能很好地处理大量多类特征或变量
4. 只能处理两分类问题，且必须线性可分
5. 对于非线性特征，需要进行转换

总结

如果我们需要一个概率架构，比如说，简单地调节分类阈值，指明不确定性，或者是要获得置信区间，或者我们希望以后将更多的训练数据快速整合到模型中去，我们可以使用这个这个算法