机器学习---分类问题（二分类和多分类）、逻辑回归

给出假设函数：

$$h_{\theta }(x)=g({\theta }^T\cdot X)\text{\hspace{1em}(1)}$$
$$g(z)=\frac{1}{1+e^{(-z)}}\text{\hspace{1em}(2)}$$

$y$更可能等于$1$或者说$y=1$的概率大于等于$0.5$的条件是$z={\theta }^{T}X$大于零。

将$(1)$和$(2)$进行合并：
$$h_{\theta }(x)=\frac{1}{1+e^{(-{\theta }^T\cdot X)}}\text{\hspace{1em}(3)}$$

$(3)$式就是我们的假设函数。

定义了代价函数如下：
$$J(\theta )=\frac{1}{m}\cdot \sum _{i=1}^{m}Cost(h_{\theta }(x),y)$$
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& if:y=1\\ -log(1-h_{\theta }(x))& if:y=0\end{array}$$

我们更推荐用一个式子来表示$Cost(h_{\theta }(x),y)$

 
 
$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))\text{\hspace{1em}(5)}$$

将$(3)$和$(5)$得到终结版的代价函数：
$$J(\theta )=-\frac{1}{m}\cdot \sum _{i=1}^m\left(y^{(i)}log[h_{\theta }(x^{(i)})]+(1-y^{(i)})log[1-h_{\theta }(x^{(i)})]\right)$$
这个代价函数是统计学中得出来的，重要的是他是一个凸函数能够找到最小化。我们一般选择这个函数。
还要记住一点$y$等于$1$或$0$这是由他的定义决定的，不论是已知的数据集还是我们要预测的。
我现在只能照着以前线性回归的思路来找参数$\theta$,要找到参数$\theta$就要对$J(\theta )$最小化，仍然考虑使用梯度下降法来最小化代价函数$J(\theta )$：
Repeat:
$$\begin{gathered} {\theta }_j={\theta }_j-\alpha \cdot \frac{\partial }{\partial {\theta }_j}J(\theta ) \\ j=1,1,2,3\dots \text{\hspace{1em}(6)} \end{gathered}$$
仍然是同时更新。

---

将式子$(6)$的偏导展开：
$${\theta }_j={\theta }_j-\alpha \cdot \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
$j=0,1,2,3\dots$，同时更新，内循环对${\theta }_j$进行$j=0,1,2,3\dots n$的更新，外循环的循环次数不定，直到收敛。
其中：$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}X}}$$

---

下面我们来考虑多分类问题（一对多问题）：
比如说邮件分类一共有三类，分别是y=1,y=2,y=3。我觉得很好理解之前二分类我们定义y=0或者y=1。
三分类或者多分类就是多个二分类器，三分类就是三个二分类器，比如$h_{\theta }^1(x)、h_{\theta }^2(x)、h_{\theta }^3(x)$。
拿第一个二分类器为例，就是给定$x$和$\theta$，输出$y=1$的概率，那第二个而分类器就是给定$x$和$\theta$，输出$y=2$的概率，以及第三个二分类器，给定$x$和$\theta$，输出$y=3$的概率。在预测某个具体问题时，我们就向这三个分类器都输入$x$和$\theta$，然后取$h^i$最高的那个，因为输出的概率所以就可以确定$y$的值了。
比如说$h_{\theta }^1(x)$的概率最高那么就可以确定$y=1$。