【感知机】—— 感知机算法原理及Python实现

最新推荐文章于 2024-06-12 10:44:51 发布

Seven_0507

最新推荐文章于 2024-06-12 10:44:51 发布

阅读量1.7k

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/KEEP_GIONG/article/details/87982443

版权

本文详细介绍了感知机模型，作为二分类的线性模型，其原始形式通过寻找分离超平面进行线性划分。感知机利用随机梯度下降法进行优化，当数据线性可分时算法能收敛。文章还涵盖了感知机的对偶形式，并提供了Python实现的示例，包括使用Sklearn库。

摘要由CSDN通过智能技术生成

感知机（Perceptron）

二分类模型、线性分类模型、判别模型

模型：寻找能够将训练数据进行线性划分的分离超平面
- 感知机模型： $f (x) = s i g n (w * x + b)$
  （w权值、b偏置为感知机模型参数，w*x表示内积，sign为符号函数）
  几何解释：w是超平面的法向量，b为超平面的截距
策略：建立误分类的损失函数，误分类点到超平面的总距离，损失函数是连续可导函数
损失函数： $\underset{w,b}{min}L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)}$
算法：利用随机梯度下降法 Stochastic Gradient Descent，对损失函数进行极小化求解，求得感知机模型
- 首先，任意选取一个超平面 $w_{0}$ 、 $b_{0}$ ，然后用梯度下降法不断极小化目标函数，极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
  
  梯度：

关注

专栏目录