LR 逻辑回归模型

1. 原理

LR虽然叫逻辑回归，但LR即可以用来回归，也可以用来分类，主要是二分类。LR可以被认为是一个被sigmoid函数所“归一化”后的结果。

2. 算法步骤

（1）寻找h函数（即hypothesis）；
（2）构造J函数（损失函数）；
（3） 想办法使得J函数最小并求得回归参数（θ）

2.1 寻找h函数

在线性回归中:
$$h(\theta )={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+......+{\theta }_n{x}_n$$
在此引入sigmoid函数：

sigmoid函数图像如下图所示：


为什么引入sigmoid函数？（面试问过）
（1）定义域：(−∞,+∞)
（2）值域：(0,1), 且在0.5处为中心对称，并且越靠近x=0的取值斜率越大
（3）函数在定义域内为连续和光滑函数
（4）处处可导，导数为：f’(x) = f(x)(1−f(x))

sigmoid函数求导过程？（面试要求推导过）

以下逻辑回归的代价函数怎么得到的？

推导如下：