逻辑回归

逻辑回归用于分类，其本质是线性回归和一个非线性激活函数(sigmoid函数)。

$$ h(x)=w_1x_1+w_2x_2+…+w_nx_n+b$$

$$ f(x)=\frac{1}{1+e^{-h(x)}}  $$

sigmoid函数具有连续可导的性质，并且可以将$h(x)$函数的值域压缩到[0,1]区间。x轴在0点对应y的值为0.5，这样可以将值小于0.5的样本分为负样本，值大于0.5的样本分为正样本。假设进行二分类，分类概率如下所示：

$$p(y=1|x)=p$$

$$p(y=0|x)=1-p$$

$$\log\frac{p(y=1|x)}{p(y=0|x)}=\log\frac{p}{1-p}=w_1x_1+w_2x_2+…+w_nx_n+b$$

$$ p=\frac{1}{1+e^{-h(x)}}  $$

根据极大似然的思想，如果分类器效果很好，那么下面公式的值就相对较大。

$$L(w)=\prod_{i=1}^n\left(p^{y_i}(1-p)^{1-y_i}\right)$$

为了简化计算可以使用对数函数对其进行简化，得到公式如下所示：

$$l(w)=\ln{L(w)}=\sum_{i=1}^n\left(y_ip+(1-y_i)(1-p)\right)$$

那么逻辑回归的损失函数可以表示为：

$$loss(w)=min[-l(w)]$$