逻辑回归Logistic Regression

概念

  使用线性回归预测分类问题显然不合适，因此引入逻辑回归来处理0/1分类问题，其中逻辑就是1（是）和0（非）。在逻辑回归中，我们利用线性回归中的假设函数来处理分类问题。
$$\begin{gathered} h_{\theta }(x)>0.5=>y=1 \\ {h}_{\theta }(x)\le 0.5=>y=0 \end{gathered}$$

Sigmoid预测函数

  也成为激活函数，在神经网络中也会运用，形式：$$g(z)=-\frac{1}{1+e^{-z}}$$图像如下所示：

  逻辑回归中，假设函数被定义为：$h_{\theta }(x)=g(z),z={\theta }^{T}x$，$z$是分类边界。所以我们可以由图像得出：$$\begin{gathered} {\theta }^{T}x\ge 0=>y=1 \\ {\theta }^{T}x<0=>y=0 \end{gathered}$$
  后面的SVM支持向量机中会对这个图像稍微改造一下。

决策边界（decsion boundary）

  是用来划清界限的边界，可以是点、线或者是平面。课程中强调，决策边界是假设函数的属性，训练集只是用来训练和调参，所以决策边界并不是训练集的属性。
  线性的决策边界：$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$$

  非线性决策边界：
      $h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$

预测代价函数（cost function)

  我们通过代价函数$J(\theta )$评估模型的误差，通过减小代价函数的值来调整参数，一般来说，代价函数拥有越少的极小值点，就越容易找到最小值点，也就越容易达到最准确的预测。
  如图像所示，左边的图非凸函数，很容易达到极小值，也就是局部最优值，而右边的图像更平滑，是典型的凸函数，到达极小值点时也达到了全局最优值。
  逻辑回归中的代价函数被定义为：$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

最小化代价函数

  与线性回归相似，有梯度下降和正规方程两种方法。
批量梯度下降与随机梯度下降：

多分类问题

  当想要分成k类时，那就一共做k次逻辑回归，每次将$k^{(i)}$作为分类的正例，其余作为负例，这样一共会获得k个假设函数，也就是k个模型，对于新输入的x，代入这k个模型中，选出假设函数值最大的那个，那么x输出的就是k类。