ML - 逻辑回归

---

---

什么是逻辑回归

逻辑回归：Logistic Regression；

• LR 由线性回归衍生而来；
• 原理：将样本的特征和样本发生的概率联系起来，概率是一个数；
• 逻辑回归既可以看做是回归算法，也可以看做是分类算法；
• 通常作为分类算法用，只可以解决二分类问题；也可以使用其他技巧使他支持多分类问题。

---

比如，在线性回归中，输入特征数据，得到具体的值；可以将这个输出值作为得分；如果有多个类别，那么可以划分到得分最高的这个类别中。
用的分来表示分类结果不恰当，转化为 概率值更好。可以使用 sigmoid 来转换。

---

在特征空间找到一条直线，来分割样本到对应的两个分类。

---

sigmoid 函数

公式：
$g(z)=\frac{1}{1+e^{-z}}$

值域为 [0, 1]

---

值域(-infinity, +infinity)

---

问题:
对于给定的样本数据集X,y，我们如何找到参数theta，使得用这样的方式，可以最大程度获得样本数据集 X 对应的分类输出 y ?

---

逻辑回归的流行度

2020 在 kaggle 中被统计为最常用的算法，比第二名决策树高出20个百分点

---

逻辑回归的损失函数

---

损失函数可以表示为：

没有公式解，只能使用梯度下降法求解；
是一个凸函数，只有惟一的一个全局最优解，没有局部最优解；

---

决策边界

---

逻辑回归中添加多项式特征

引入多项式项，将线性决策边界转化为非线性。

---

解决多分类问题 OvR & OvO

这种改造方式不只是针对逻辑回归这一种算法，是一个通用的二分类改造方式

---

OvR

One vs Rest

n 个类别进行 n 次分类，选择分类得分最高的。

---

OvO

One vs One

n个类别就进行C(n,2)次分类，选择赢数最高的分类 $C_2^4$

分类结果更加准确

---