5、分类算法

最新推荐文章于 2024-09-13 21:55:38 发布

脑袋空空的Coduck君

最新推荐文章于 2024-09-13 21:55:38 发布

阅读量228

点赞数

分类专栏：机器学习&深度学习笔记文章标签：分类算法

本文链接：https://blog.csdn.net/m0_74099951/article/details/128504734

版权

机器学习&深度学习笔记专栏收录该内容

16 篇文章 1 订阅

订阅专栏

这篇博客介绍了分类算法中的Logistic回归，它用于解决二分类问题，通过Sigmoid函数确保预测概率在0到1之间。Logistic回归的代价函数为非凸函数，不适合使用梯度下降法，因此通常采用更高级的优化算法如BFGS或L-BFGS。博客还讨论了决策边界的确定和多元分类问题的一对多方法。

摘要由CSDN通过智能技术生成

5、分类算法

5.1分类

分类：将数据分为1和0两种情况,等价于正负样本（后续还会有0，1，2，3， $\dots\dots$ 多分类问题）

通过函数来拟合数据，设某点为阀值点，将数据分类

用线性回归来拟合数据不精确，（线性回归 $h_\theta(x)$ 可以大于1或小于0）
在这里插入图片描述

所以接下来我们要用logistic回归算法（ $h_\theta(x)$ 始终在0到1之间）

5.2假设陈述

当我们期望输出数据在 $0 - 1$ 之间，假设函数使得该函数得取值范围在 $0 - 1$ 之间,在下面例子中g（z）即为我们假设的函数
在这里插入图片描述

$h_θ(x)=g(\theta^{T}x)$
$g(z)=\frac{1}{1+e^{-z}}$
$\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad g(x)$ 被称为Sigmoid函数或Logistic函数

对假设函数的理解
在这里插入图片描述

$h_\theta(x)$ ={y=1|x; $\theta$ }可理解为基于参数 $\theta$ ，给定一个x使得y=1得概率

5.3决策界限

在这里插入图片描述

假设 $y = 1$ 时 $h\theta(x)>=0.5$

则 $h_θ(x)>=0.5 \Leftrightarrow g(z)>=0.5 \Leftrightarrow g(\theta^{T}x)>=0.5 \Leftrightarrow \theta^{T}x>=0$

例如
在这里插入图片描述

$x_1+x_2=3$ 即为决策边界，决策边界不是样本数据的属性，而是假设函数及其参数 $\theta$ 的属性
决策边界将样本数据划分为y=0和y=1两个区域

在这里插入图片描述

$x^{2}+y^{2}=1$ 是决策边界
高阶多项式应用于logistic函数中会产生复杂的决策边界

5.4代价函数

在这里插入图片描述

用之前的平方误差和作为代价函数，得到的 $J(\theta)$ 是非凸函数，这是因为 $h\theta(x)$ 是非线性的复杂模型，对于非凸函数，梯度下降法无法保证下降到全局最低值

Logistic函数的代价函数
$Cost(h_\theta(x),y)= \begin{cases} -log(h_θ(x)),y=1\\ -log(1-h_θ(x)),y=0 \end{cases} \tag{1}$
$Cost(h_\theta(x),y)$ 代表单个样本的代价
在这里插入图片描述

5.5简化代价函数与梯度下降

在这里插入图片描述

将分段式子合并为一条式子
在这里插入图片描述

梯度下降：
在这里插入图片描述

将参数向量 $\theta$ 逐一带到上式子来更新 $\theta_j$
注意：这里的 $h_\theta(x)=\frac{1}{1+e^{-\theta^{T}x}}$

5.6高级优化

利用梯度下降以外的更高级复杂的最小化代价函数的算法，可以提高logistic回归的运行速度，更好地处理大数据问题

$\text {最小化代价函数的算法} \begin{cases}1\quad \text {Gradient descent(梯度下降法)} \\ 2\quad \text{Conjugate gradient(共轭梯度法)}\\ 3 \quad\text{BFGS}\\ 4 \quad\text{L-BFGS} \end{cases}$