逻辑回归（分类）

目录：

1、从线性回归说起
2、sigmod函数
3、推广至多元场景
4、似然函数
5、最大似然估计
6、损失函数
7、梯度下降法求解
8、结尾

逻辑回归用于解决分类问题
实际上，“分类”是应用逻辑回归的 目的&结果 。但是中间过程依旧是“回归”。

1、线性回归（略）

2、sigmod函数

3、推广至多元场景

4、似然函数

5、最大似然估计

6、损失函数

7、梯度下降求解

首先了解f ’ (x) = f(x)*(1-f(x))

手推版

面试补充：

1、LR公式以及损失函数的推导：


为什么用极大似然估计？不用均方损失？
极大似然估计—>损失函数，在反向传播的时候会更好，根据log图像，对分类问题解决的比较好。而均方误差的话，更适合线性回归。

使用最小二乘法的话，最小二乘法产生的目标函数不是凸函数，存在多个极值点。
使用极大似然估计，损失函数的二阶导数<0，损失函数先减后增 or 单增 or 单减，有全局最优解（max）

逻辑回归是如何做反向传播的？
其实是梯度下降法去做反向传播，从而更新参数θ，然后得到最优参数。

这个参数刚开始是什么？
刚开始是随机初始化，然后进行梯度更新，最后得到一个最优的参数θ。

2、逻辑回归怎么实现多分类

• 方式一:修改逻辑回归的损失函数,使用softmax函数构造模型解决多分类问题,softmax分类模型会有相同于类别数的输出,输出的值为对于样本属于各个类别的概率,最后对于样本进行预测的类型为概率值最高的那个类别。
• 方式二:根据每个类别都建立一个二分类器,本类别的样本标签定义为0,其它分类样本标签定义为1,则有多少个类别就构造多少个逻辑回归分类器。
• 若所有类别之间有明显的互斥则使用softmax分类器,若所有类别不互斥有交叉的情况则构造相应类别个数的逻辑回归分类器。

3、LR和线性回归的区别

• 线性回归用来做预测,LR用来做分类。
• 线性回归是来拟合函数,LR是来预测函数。
• 线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。
• 线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。

4、逻辑回归的解是唯一的吗？

• 这里的“解唯一”的含义：我用什么模型，得到的解都是一个。
• 要看逻辑回归是凸优化问题吗？如果是一个凸优化的问题，那么解是唯一的。比如目标函数是一个二次函数，那么就是凸优化问题，解就是唯一的了。如果不是一个凸优化的问题，那么解不是唯一的。逻辑回归只是一个算法模型，需要看具体的场景。真实场景中很多高维非凸问题。会存在很多局部极值。解决方法：各种优化器。

5、涉及到的一个问题：凸优化的解是唯一的吗?

• 凸优化的解是唯一的。图像是凹的。那么解是唯一的。凸优化问题中局部最优解同时也是全局最优解。
• 联想到优化器中非凸问题，那么非凸优化就会有很多个局部最优解。这里其实可以扯到优化器的问题。对应鞍点问题。

6、逻辑回归中初始化的时候参数全部为0是ok的吗？
OK的。