Logistic回归-模型·损失函数·参数更新

理解Logistic回归首先要了解线性回归(http://blog.csdn.net/u013917439/article/details/77481216)。Linear Regression:$h=W^TX$

---

 训练集共m个样本，第i个样本$(x^{(i)},y^{(i)}) , x^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_d^{(i)})^T$，即有d维特征。为了表示方便，将偏置b统一到权重W里。$W=(w_0,w_1,...,w_d),w_0=b$。

1 逻辑回归

 Logistic回归将线性回归的结果输入到sigmoid函数函数中，得到一个0-1之间的数值，可用与分类。当结果大于 0.5时是正类，小于0.5时是负类。
sigmoid函数，也叫Logistic函数：

$$g(t)={1 \over {1+e^{-t}}}$$
图像如下：

Logistic回归模型：

• 假设函数$Hypothesis: h_w(X)={1 \over {1+e^{-W^TX}}}$

  $h_w(X)=g(W^TX)$
  $g(z)={1 \over {1+e^{-z}}}$
  $z=W^TX$

  • 参数　　　　$Parameters : w$
  • 损失函数　　$Cost Function : J(w)={-{1\over m}\sum _{i=1}^m[y^{(i)}log(h_w(x^{(i)}))+(1-y^{(i)})log(1-h_w(x^{(i)}))]}$
  • 优化目标　　$Goal : minimize\; J(w)$

2 模型函数

 为什么将线性回归的结果输入到sigmoid函数中去做分类呢？
 线性回归本身是预测连续值，是用于对线性数据进行拟合。输入特征X，输出的预测值$y\in R$，是实数集合。而二分类任务输入特征X后，输出$y\in {0,1}$。
 怎样把实数集合映射到0,1？$\; \;$ sigmoid函数：定义域R，值域（0，1)，则 $h_w(X)=g(W^TX)$的输出是0-1之间的数值，输出的是该样本为正类的概率。再用概率值判断所属类别。

$p(y=1|x,w)=h_w(x^{(i)})$
$p(y=0|x,w)=1-h_w(x^{(i)})$

• 对数几率
   将$h_w(x^{(i)})$视为样本作为正例的概率，则$1-h_w(x^{(i)})$是该样本为反例的概率，两者的比值称为“几率“(odds)，反应了$x^{(i)}$作为正例的相对可能性。
  

  odds=hw(x(i))1−hw(