机器学习 | 分类算法原理——线性可分

Hi，大家好，我是半亩花海。接着上次的感知机继续更新《白话机器学习的数学》这本书的学习笔记，在此分享线性可分这一分类算法原理。本章的分类算法原理基于《基于图像大小进行分类》项目，欢迎大家交流学习！

目录

一、线性可分概述

二、案例分析

---

一、线性可分概述

如下图所示，特征空间为二维，并且是一个二分类问题。线性可分的是存在一条直线可以将上图的 X 和 O 分开。对于三维的特征空间，分割的直线就变成了平面；对于四维以上，就称为超平面。

---

二、案例分析

我们知道上一节主要介绍了感知机这个模型的大致原理，链接如下：《机器学习 | 分类算法原理——感知机-CSDN博客》。其实，感知机模型相对来说非常简单又容易理解，当然相应地也有很多缺点。感知机的最大缺点就是它只能解决线性可分的问题。

那么什么是线性可分？之前的博客里我们尝试的是用直线对训练数据进行分类，现在假设有如下图的数据，其中圆点为 1，叉号为 −1，如果只用一条直线对这些数据进行分类，应该画一条什么样的线呢？

稍稍观察便能发现这是做不到的。线性可分指的就是能够使用直线分类的情况，像这样不能用直线分类的就不是线性可分。

这么说来，像照片这类的图像分类就并不是线性可分了。 这类图像数据的维度一般会很高，所以无法可视化。其实我们想一想也知道，根据图像特征进行分类的任务肯定不是那么简单的，在大部分情况下是线性不可分的。

因此，上一节提到的感知机是非常简单的模型（也被称为简单感知机或单层感知机），基本不会被应用在实际的问题中。 那么我们可以再思考一下，既然有单层感知机，那么就会有多层感知机。实际上多层感知机就是神经网络了，这是个表现力非常高的模型，后续有机会再说这个，要不然跑题了哈哈哈。