机器学习（八）

分类-逻辑回归

逻辑回归：线性回归的式子作为逻辑回归的输入

逻辑回归是解决二分类问题的利器

sigmoid函数

逻辑回归公式

e：2.71；Z=回归的结果

逻辑回归的损失函数、优化

与线性回归原理相同，但由于是分类问题，损失函数不一样，只能通过梯度下降求解

目标值是1类

目标值是0类（判断的是属于1的概率）

逻辑回归只判断一个数的概率是多少

损失函数

损失函数：均方误差（不存在多个局部最低点，只有一个最小值）、对数似然损失（有多个局部最小值，目前解决不了的问题）

解决办法：1.多次随机初始化，多次比较最小值结果

2.求解过程中，调整学习率

（尽量改善）

sklearn逻辑回归API

skelarn.linear_model.LogisticRegression

LogisticRegression

skelarn.linear_model.LogisticRegression(penalty='12',C=1.0)

Logistic回归分类器

coef_：回归系数

分类流程

1.网上获取数据（工具pandas）

2.数据缺失值处理、标准化

3.LogisticRegression估计器流程

逻辑回归总结

只能解决二分类问题

优点：适合需要得到一个分类概率的场景、简单、速度快

缺点：不好处理多分类问题

softmax方法-逻辑回归在多分类问题上的推广