机器学习第3周（上）

1、定义

1. 常见的二元分类如下：

• 邮件：垃圾邮件/非垃圾邮件
• 网络交易：欺诈/非欺诈
• 癌症：恶性/良性

2. 多元分类如下:

• 将邮件分类为：工作、家人、朋友等
• 气候分类为：晴天、阴天、下雨、下雪等

2、模型设置

2.1、背景

根据上述提及的二元分类问题，在机器学习中，可以设置模型的输出为0或1：
y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}

其中，0代表的是消极类型（比如恶性肿瘤），1代表的是积极类型（比如良性肿瘤）

阈值分类器：
$$\begin{gathered} If{h}_{\theta }(x)⩾0.5,predict"y=1" \\ If{h}_{\theta }(x)<0.5,predict"y=0" \end{gathered}$$
如果按照线性回归模拟，$h_{\theta }(x)$的值有可能小于0或大于1，但这是不可能的，$h_{\theta }(x)$的值应当在0到1之间，才能较好解决分类问题。因此，需要用到一种能使$h_{\theta }(x)$的值处于0到1之间的假设函数。

2.2、逻辑回归模型

2.2.1、假设函数（模型）

1. 含义
   $h_{\theta }(x)$表示输入变量为x的情况下输出变量y=1的概率：
   $$h_{\theta }(x)=P(y=1|x;\theta )$$
   具体为：给定参数$\theta$，在$x$条件下，$y=1$的概率，在实际操作中，设为S型函数（或称逻辑函数）：
   $$\begin{gathered} h_{\theta }(x)=g({\theta }^{T}x)(1) \\ g(z)=\frac{1}{1+e^{-z}}(2) \end{gathered}$$
2. 决策边界
   如果有：
   $$\begin{gathered} h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)(3) \\ {\theta }_0=-3;{\theta }_1=1;{\theta }_2=1(4) \end{gathered}$$
   那么，依据式（1）至（4），可知：
   $$\begin{gathered} predict"y=1"，If-3+x_1+x_2⩾0 \\ predict"y=0"，If-3+x_1+x_2<0 \end{gathered}$$
   由上可知，$-3+x_1+x_2=0$是决策边界（如下图的蓝色直线），一侧表示$y=1$，另一侧表示$y=0$。
   

另外，如果决策边界不是直线，可以根据输入特征的分布情况确定各种边界：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)(5)$$
根据式（5），如果$\theta =\left|\begin{array}{c}1\\ 0\\ 0\\ 1\\ 1\end{array}\right|$，则有$1+x_1^2+x_2^2=0$，表示为一个圆，如下图：

2.2.2、代价函数

1. 线性回归的代价函数
   $$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ J(\theta )=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}) \end{gathered}$$
   结合上文的假设函数，会使$J(\theta )$变成非凸函数，如下图所示，局部极值较多，难以进行回归运算：
   
   因此，根据上文的假设函数，代价函数需要是凸函数：
   
2. 逻辑回归的代价函数
   $$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x),y) \\ Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-\log (h_{\theta }(x))& \text{if }y=1\\ -\log (1-h_{\theta }(x))& \text{if }y=0\end{array}(6) \end{gathered}$$
   当$y=1$时，$cos=0$；当$h_{\theta }(x)\to 0$时，$cos\to \infty$，如下图：
   
   当$y=0$时，$cos=0$；当$h_{\theta }(x)\to 1$时，$cos\to \infty$，如下图：
   
   上式（6）在简化后可得：
   $$Cost(h_{\theta }(x^{(i)}),y^{(i)})=-y^{(i)}\log (h_{\theta }(x^{(i)})-(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$$
   进而，代价函数如下：
   $$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

2.2.3、梯度下降

$mi{n}_{\theta }J(\theta ):$
$repeat$
$${\theta }_j:={\theta }_j-\alpha \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
刚好逻辑回归算法中代价函数的导数跟线性回归中代价函数的导数一样，厉害了。

2.2.4、软件自带的高级优化算法

• 梯度下降算法相比高级算法而言，需要设置学习速率$\alpha$，而且收敛速度慢，不如软件自带的高级优化算法（比较复杂是缺点）。

• 包括：conjugate gradient（共轭梯度法）、BFGS（变尺度法）、L-BFGS（限制变尺度法）

• 举例octave中的fminunc算法，具体操作如下：
  先建立costfunction.m文件，输入模型参数$\theta$，输出代价函数的值和代价函数的偏导数。
  costfunction.m文件如下：

function [jval,gradient] = costfunction(theta)
jval = [此处写 J(θ)];
gradient(1) = [此处写偏导数1];
gradient(2) = [此处写偏导数2];
...

然后运行以下代码：

option = optimset('GradObj','on','MaxIter','100'); 
%第一个设置梯度目标参数打开'on'（也即使用用户自定义的梯度参数gradient），第二个设置迭代次数为100
initialTheta = zeros(2,1);
[optTheta,functionVal,exitFlag] = fminunc(@costfunction,initialTheta,options)
% 左式依次表示代价函数的值，模型参数的值，是否收敛（1表示收敛）
%右式依次表示建立的costfunction函数，初始化的模型参数，函数设置
[theta, cost] = ...
	fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);
	%实际中。。。

2.3、多元分类处理

1. 多种类型下，y的值从1开始，比如邮件中工作设为1，朋友设为2，家人设为3等

2. 将每个输出类型作为一个二元分类问题，比如：工作和其他的分类；朋友和其他的分类；家人和其他的分类，得到以下假设函数：
   $$h_{\theta }^{(i)}(x)=P(y=i|x;\theta )(i=1,2,3)$$
   
3. 利用上式的假设函数进行测试时，将输入特征x分别输入到三个假设函数（分类器）中，将能够得到最大输出特征y的假设函数确认为可信度高的分类器，并根据所得到的可信度高的分类器确定分类类型。