分类问题（逻辑回归）

目录

一、Logistic Regression

1、函数的由来，why be called Regression

2、理解函数x的形式+y的结果

3、了解边界决策，理解假设函数的计算

①理解假设函数的计算：

②决策边界：中间的线就叫决策边界（decision boundary）

4、如何拟合假设函数里的θ参数

（1）step1 定义优化目标或者叫代价函数

（2）简化代价函数

（3）利用梯度下降法拟合参数θ

5、高级优化算法

（1）优缺点

（2）如何运用

②在octave中调用

③修改部分代码

6、多类别多分类（一对多）

（1）定义例子：

（2）图示：

（3）总体思路

---

背景：线性回归有时无法解决分类问题，线性函数取值可能存在恒>1或恒<0的

一、Logistic Regression

1、函数的由来，why be called Regression

 

注：横坐标是z

2、理解函数x的形式+y的结果

（1）进一步理解函数之举例—by投喂x后的结果，以及x的形式

3、了解边界决策，理解假设函数的计算

• ①理解假设函数的计算：

g(z)≥0.5,决策结果为1，g(z)小于0.5,决策结果为0；

in other words, z≥0即(θ^T)*x ≥0，决策结果为1，z<0即(θ^T)*x <0，决策结果为0

• ②决策边界：中间的线就叫决策边界（decision boundary）

例子1.线性决策边界：（先假设已知，去θ获得边界函数，即令z≥0即(θ^T)*X≥0）

 例子2.非线性决策边界：

注：边界函数，不是训练集的属性，而是假设本身及其参数的属性；是用训练集来拟合参数θ

4、如何拟合假设函数里的θ参数

（1）step1 定义优化目标或者叫代价函数

第一种、和线性回归的代价函数相似写法

写法一：

注：此时目标函数是hθ(x),是非线性函数Sigmoid

写法二：（即1/m cost函数在训练集范围内的求解）

弊端：but此时J(θ)变为非凸函数（def：无全局最优解，只有局部最优解如左图），而我们需要凸函数如右图，从而能够利用梯度下降法寻找到全局最优解。

改进后的代价函数：

case1：if y = 1时，图说含义如果y=1，而hθ(x)=0即肿瘤是良性的概率是百分百，那么代价函数则趋向无穷大，函数上的含义是用非常大的代价来乘法算法。

 case2：if y = 0时,本例中含义即为肿瘤良性，如果hθ(x)等于 1，此时代价函数区域∞，即用无穷大的代价惩罚算法模型。

（2）简化代价函数

注：即将分段函数转换为一个函数，可分别代入y=0以及y=验证是否等于之前的分段函数

（3）利用梯度下降法拟合参数θ

• 整体逻辑：利用梯度下降法拟合参数θ，从而使得代价函数J(θ)最小化，从而得到Hθ(x)的值即

P(y=1|x,θ)的概率

梯度下降法公式：不断更新θ，更新的方法是用 “本身-学习率×本身的偏导”

5、高级优化算法

共轭梯度法、L-BGFS、BFGS

（1）优缺点

优点：无需调整学习率α（有智能内循环自己调节）

缺点：比梯度下降算法复杂

（2）如何运用

①首先定义costFunction函数、fminuc函数，如下图。

②在octave中调用

octave运行结果即表示θ1=5,θ2=5；functionval 结果是e的-30次幂几乎接近0；exitFlag=1即表示最后代价函数收敛。

注：θ的初始值必须是大于等于二维的向量，如果需解决一维的问题，by help fminunc了解更多。

③修改部分代码

如何运用高级优化算法，即将下列[code to compute J(θ)]\[code to compute ∂J(θ)/∂θn]改成合适的代码

6、多类别多分类（一对多）

（1）定义例子：

将邮件放不同文件夹：“工作的”、“朋友的”、“家人的”、“爱好的”

鼻塞病人：“没病”、“着凉”、“流感”

天气：“晴天”、“多云”、“雨天”、“雪天”

（2）图示：

（3）总体思路

将多分类转换为n个独立的二分类解决问题，如下图所示，选择输出最大的那个分类函数