手推 逻辑回归（logistic regression）

logistic 回归

#TOC

一、构造hypothesis假设函数

Logistic Regression 可以看做是一个 线性回归（Linear Regression） 经过一个sigmod激活函数 的结果。
线性回归方程：$ \theta_0 + \theta_1x_1+ \theta_2x_2+…+ \theta_n*n_n = \theta^T * x$
sigmoid函数：$$g(z)=\frac{1}{1+e^{-z}}$$
所以hypothesis 函数 $$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
$h_{\theta }(x)$表示为样本预测正例的概率
即：
KaTeX parse error: No such environment: equation at position 9: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \begin…

可以将公式（1）合并成：
$$P(y|x;\theta )=h_{\theta }(x^{(i)}{)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\text{\hspace{1em}(2)}$$

二、构造损失函数

下面介绍两种不同的构造假设函数的方法：
第一种是来源于NG的机器学习课程；
第二种是以概率的方式通过极大似然来构造代价函数

直接构造损失函数

构造代价函数：
KaTeX parse error: No such environment: equation at position 23: …heta) = \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \begin…
[外链图片转存失败(img-NybE3yxJ-1565846168527)(media/15655785068654/15657637829206.jpg)]
如图一：
当y = 1，
若假设函数预测结果为1。 则代价函数为0；
当假设函数预测结果越接近0时，其代价就越大。
当 y = 0时同理
将两式化归一起：
$$Cost(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)}$$

使用概率知识，通过极大似然构造损失函数

优化的目标是是的$P(y|x;\theta )$的预测值最接近观测值。即使得：
${\prod }_{i=1}^m$