数学：LR推导

• 逻辑斯蒂分布

F(x) = P(X <= x) = 1 / ( 1 + e^{ - (x - u) / r } )
f(x) = F’(x) = e ^ { -(x-u)/r } / r*(1 + e ^ { - (x - u) / r } )^2
u位置参数
r形状参数

• LR表达式：

h(x) = 1 / ( 1 + e^{ - theta{T} * X } )

LR分类问题本质上把X坐标映射到Sigmoid分布上。

• 对数几率：

logit§ = log{ p/(1-p) }
带入逻辑斯蒂回归有：
log{ h(x) / (1 - h(x)) } = theta{T} * X
此处log应该以e为底

• 优点：
  预测结果届于0与 1之间的概率
  可以适用连续性和类别性自变量
  容易适用和理解

• 缺点：
  对高度相关自变量较为敏感，最好使用降维。
  预测结果呈现S型，边界梯度消失，中间变化大，导致部分变量变化对目标概率没有区分度，无法确定阈值。

详细见：https://www.jianshu.com/p/e8dca5613da6