逻辑回归logistic regression

一、定义

逻辑回归是二分类模型，等价于线性回归+sigmoid。

二、公式

1、分布函数和密度函数

分布函数

密度函数

2、分布

三、参数估计

3.1、理论

最大似然估计 进行 参数估计

1、似然函数：

2、似然函数求对数：

3、损失函数

最大化似然函数 等价于 最小化损失函数

其中：

3.2、方法

3.2.1、梯度下降

3.2.2、牛顿法

令 ，得到

四、解决的问题

4.1、感知机

4.2、感知机问题：

1. 位置相近两个样本被划分为+1和-1

2. 在0处不可导

逻辑回归在0处连续可导

参考：https://mp.weixin.qq.com/s/1E7MLGTguXI8SL0_2WXZxQ