Machine Learning第三讲[Logistic回归] --（三）多元分类

多元分类策略

最新推荐文章于 2025-01-03 21:59:25 发布

nana-li

最新推荐文章于 2025-01-03 21:59:25 发布

阅读量5.2k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： Machine Learning 文章标签：机器学习二元分类应用到多元

本文链接：https://blog.csdn.net/quiet_girl/article/details/70216899

Machine Learning 专栏收录该内容

52 篇文章

订阅专栏

本文介绍了一种将二元分类拓展到多元分类的方法——一对多（One-vs-all）策略。通过将每个类别与其他所有类别视为二元分类问题，可以训练多个分类器来预测每个类别的概率。最终，选择具有最高概率的类别作为预测结果。

内容来自Andrew老师课程Machine Learning的第三章内容的Multiclass Classification部分。

一、Multiclass Classification: One-vs-all（多元分类：一对多）

（1）下图左边是二元分类的图形，右边是三元分类的图形（代表多元分类）。在二元分类中，我们可以划出一条拟合曲线（直线、曲线、圆或者椭圆等），那么在多元分类中，我们不能简单的画出拟合曲线，那么我们该怎样进行预测呢，怎样把二元分类应用到多元分类中呢？
这里写图片描述

（2）如下图，
右1是将三角形看做是一个分类，将其他所有分类看作是另一个分类，那么就将这个多元分类的模型变成了二元分类，利用这个二元分类预测出三角形的概率，即是y=1的概率。
右2是将长方形看做是一个分类，将其他所有分类看作是另一个分类，那么就将这个多元分类的模型变成了二元分类，利用这个二元分类预测出长方形的概率，即是y=2的概率。
右3是将叉号看做是一个分类，将其他所有分类看作是另一个分类，那么就将这个多元分类的模型变成了二元分类，利用这个二元分类预测出叉号的概率，即是y=3的概率。
这里写图片描述

（3）分别将这些概率算出来之后，我们怎么知道我们的预测值是哪个呢？选择这些概率中的最大值作为预测值。
即：

y \in {0, 1, . ., n} h (0) θ (x) = P (y = 0 | x; θ) h (1) θ (x) = P (y = 1 | x; θ) . . . h (n) θ (x) = P (y = n | x; θ) p r e d i c t i o n = m a x i (h (i) θ (x))

$\begin{aligned} y \in \{0, 1, .., n\} \\ h_\theta^{(0)}(x) = P(y=0|x;\theta) \\ h_\theta^{(1)}(x) = P(y=1|x;\theta) \\ ...\\ h_\theta^{(n)}(x) = P(y=n|x;\theta) \\ prediction=max_i(h_\theta^{(i)}(x)) \end{aligned}$