目录
1、函数的由来,why be called Regression
②决策边界:中间的线就叫决策边界(decision boundary)
背景:线性回归有时无法解决分类问题,线性函数取值可能存在恒>1或恒<0的
一、Logistic Regression
1、函数的由来,why be called Regression
注:横坐标是z
2、理解函数x的形式+y的结果
(1)进一步理解函数之举例—by投喂x后的结果,以及x的形式
3、了解边界决策,理解假设函数的计算
-
①理解假设函数的计算:
g(z)≥0.5,决策结果为1,g(z)小于0.5,决策结果为0;
in other words, z≥0即(θ^T)*x ≥0,决策结果为1,z<0即(θ^T)*x <0,决策结果为0
-
②决策边界:中间的线就叫决策边界(decision boundary)
例子1.线性决策边界:(先假设已知,去θ获得边界函数,即令z≥0即(θ^T)*X≥0)
例子2.非线性决策边界:
注:边界函数,不是训练集的属性,而是假设本身及其参数的属性;是用训练集来拟合参数θ
4、如何拟合假设函数里的θ参数
(1)step1 定义优化目标或者叫代价函数
第一种、和线性回归的代价函数相似写法
写法一:
注:此时目标函数是hθ(x),是非线性函数Sigmoid
写法二:(即1/m cost函数在训练集范围内的求解)
弊端:but此时J(θ)变为非凸函数(def:无全局最优解,只有局部最优解如左图),而我们需要凸函数如右图,从而能够利用梯度下降法寻找到全局最优解。
改进后的代价函数:
case1:if y = 1时,图说含义如果y=1,而hθ(x)=0即肿瘤是良性的概率是百分百,那么代价函数则趋向无穷大,函数上的含义是用非常大的代价来乘法算法。
case2:if y = 0时,本例中含义即为肿瘤良性,如果hθ(x)等于 1,此时代价函数区域∞,即用无穷大的代价惩罚算法模型。
(2)简化代价函数
注:即将分段函数转换为一个函数,可分别代入y=0以及y=验证是否等于之前的分段函数
(3)利用梯度下降法拟合参数θ
- 整体逻辑:利用梯度下降法拟合参数θ,从而使得代价函数J(θ)最小化,从而得到Hθ(x)的值即
P(y=1|x,θ)的概率
梯度下降法公式:不断更新θ,更新的方法是用 “本身-学习率×本身的偏导”
5、高级优化算法
共轭梯度法、L-BGFS、BFGS
(1)优缺点
优点:无需调整学习率α(有智能内循环自己调节)
缺点:比梯度下降算法复杂
(2)如何运用
①首先定义costFunction函数、fminuc函数,如下图。
②在octave中调用
octave运行结果即表示θ1=5,θ2=5;functionval 结果是e的-30次幂几乎接近0;exitFlag=1即表示最后代价函数收敛。
注:θ的初始值必须是大于等于二维的向量,如果需解决一维的问题,by help fminunc了解更多。
③修改部分代码
如何运用高级优化算法,即将下列[code to compute J(θ)]\[code to compute ∂J(θ)/∂θn]改成合适的代码
6、多类别多分类(一对多)
(1)定义例子:
将邮件放不同文件夹:“工作的”、“朋友的”、“家人的”、“爱好的”
鼻塞病人:“没病”、“着凉”、“流感”
天气:“晴天”、“多云”、“雨天”、“雪天”
(2)图示:
(3)总体思路
将多分类转换为n个独立的二分类解决问题,如下图所示,选择输出最大的那个分类函数