欢迎使用CSDN-markdown编辑器

【机器学习】逻辑回归

• 优点：计算代价不高，易于理解和实现；
• 缺点：容易欠拟合，分类精度可能不高。

我们想要的是接收所有的输入，然后预测出类别。在两个类的情况下输出0或者1。这种性质的函数，也许原来你接触过，叫做Heaviside step function，即单位阶跃函数。但是这种瞬间的跳跃实际中很难处理。所以，这里我们采用Sigmoid函数。

$$g(z)=\dfrac{1}{1+e^{-z}}$$

为了实现Logistic回归分类器，我们在每个特征上乘以一个回归系数，再讲所有的结果相加，将这个总和带入Sigmoid函数中，得到一个范围在0~1之间的数值。任何大于0.5的被分为1类，小于0.5的被分为0类。那么，问题就变成了最佳回归系数是多少？

---

梯度下降法

要得到函数的最优值，需要知道最优值的方向和需要向最优值移动的移动量。梯度算子是函数值下降最快的方法。移动量称为步长，记做$\alpha$。
设有一组训练集$\{(\mathbf{x^{1}},\mathbf{y^1}),...,(\mathbf{x^m},\mathbf{y^m})\}$，$m$是样本数，对于每个样本$\mathbf{x^i}$,$\mathbf{x^i}=[\mathbf{x^i_1,...\mathbf{x^i_n}}]^T$,$y=[0,1]$,我们乘以最佳系数$\theta$得到

$$h_\theta(x)=\dfrac{1}{1+e^{-\theta^Tx}}$$
代价函数的式子如下：
$$Cost(h_\theta(x),y)=\begin{cases}-log(h_\theta(x))& if y=1\\-log(1-h_\theta(x)) &if y=0 \end{cases}$$
$$J(\theta)=\dfrac{1}{m}\sum_{i=0}^m Costfunction(\mathbf{h_\theta(x^i}),\mathbf{y^i})=-\dfrac{1}{m}[\sum_{i=0}^m\mathbf{y}^ilog(h^\theta(\mathbf{x}^i)+(1-\mathbf{y}^i)log(1-h_\theta)(\mathbf{x}^i))]$$