[浙大机器学习课程] 感知器算法-python可视化

最新推荐文章于 2024-07-16 00:00:00 发布

oos1111

最新推荐文章于 2024-07-16 00:00:00 发布

阅读量87

点赞数 1

分类专栏：浙大机器学习课程文章标签：算法机器学习 python

本文链接：https://blog.csdn.net/oos1111/article/details/132926808

版权

浙大机器学习课程专栏收录该内容

3 篇文章 0 订阅

订阅专栏

感知器算法-python可视化

背景
问题
算法
- 算法过程
python 可视化

背景

继续学习浙大机器学习的课程。终于完成了第一部分支持向量机的学习。现在正式进入第二部分人工神经网络了。

这部分一上来就学到了一个超级有意思的**感知器 (Perceptron)**算法。然后课程里有一个用matlab做的可视化的例子。我并没有找到这个例子的源代码，而且我也不用matlab，所以就想着自己用python写一个。

一开始还在纠结要不要花这个时间。感觉可能挺麻烦的，对学习课程也没啥帮助。不过实际做起来发现还挺简单的。

问题

依然是解决一个基本的二分类问题：有一组样本 $\{X_i,Y_i\}，Y_i = \pm1$ ，找到一个 $\omega$ 和 $b$ ，使得对于每一个样本，都有 $Y_i \cdot (\omega X + b) > 0$ 。

注意这个问题和支持向量机解决的问题不完全相同。支持向量机是要找到最优的超平面，而感知器算法只要找到一个这样的平面就可以了。

算法

Rosenblatt 提出了感知器算法。网上搜了一下这个大佬居然是个心理学家！？

算法过程

我想做这个算法的可视化也是因为觉得这个算法太简单太优雅了。

先定义一些东西以便描述更方便。

定义增广向量 $\vec{X_i}$ 为
$\begin{bmatrix} X_i \\ 1 \end{bmatrix} , y_i = 1 \\ \\ \begin{bmatrix} -X_i \\ -1 \end{bmatrix} , y_i = -1$

然后问题就可以这样描述：

寻找向量 $\omega = \begin{bmatrix} \omega, b \end{bmatrix}$ ，使得 $\omega^T \vec{X_i} > 0$ 。

寻找的过程极其简单：
请添加图片描述
先随机取一个 $\omega$ ，然后把存在的每一个点（对应的增广向量）代入。如果 $\omega^T \vec{X_i} \le 0$ ，那就修改 $\omega$ ，让 $\omega$ 加上 $\vec{X_i}$ 。直到所有的点都满足 $\omega^T \vec{X_i} > 0$ 为止。

可以证明只要样本是线性可分的，那感知器算法最后一定会收敛。这里我就先略去证明了。

python 可视化

概述

程序也挺简单的。先讲一下思路：

先随机生成两批点。而且要保证这些点是可以用一条直线分开的。
- 每一批点我都生成了50个。
- 我事先划定两条线 $y = 2 x + 0.5$ 和 $y = 2 x - 1$ （随便定的，没有什么特别理由）。我让第一类点都在 $y = 2 x + 0.5$ 之上，第二类点都在 $y = 2 x - 1$ 之下，以此保证两类点一定能被分开。
- 我还限定了x, y值的范围，以此保证最后生成的点以及坐标图都在一定范围之内。
使用pyplot画图。
- 使用了动态模式，使得每次感知器算法更新后图像都能更新。

代码

代码也很短很简单。

import random

import matplotlib.pyplot as plt
import numpy as np


def generate_points_A() -> (list, list):
  Y = [ random.uniform(0.5, 20) for _ in range(50) ]
  X = [ random.uniform(0, (y - 0.5) * 0.5) for y in Y ]

  return X, Y

def generate_points_B() -> (list, list):
  Y = [ random.uniform(0, 20) for _ in range(50) ]
  X = [ random.uniform((y + 1) * 0.5, 20) for y in Y ]

  return X, Y

START = -3
END = 23

def update_plt(om1, om2, om3, x):
  y = -om1 * x / om2 - om3 / om2
  plt.cla()
  plt.xlim(START, END)
  plt.ylim(START, END)
  plt.plot(x, y, color=(0.5, 0.5, 0.5))
  plt.scatter(x1, y1, s=16., color=(0., 0.5, 0.0))
  plt.scatter(x2, y2, s=16., color=(0., 0.0, 0.5))
  plt.pause(0.5)

if __name__ == '__main__':
  x1, y1 = generate_points_A()
  x2, y2 = generate_points_B()

  x = np.arange(START, END, 0.1)
  sample_list = [ (s[0], s[1], 1) for s in zip(x1, y1) ] + [ (-s[0], -s[1], -1) for s in zip(x2, y2) ]
  plt.ion()

  flag = True
  om = [ 0, 1, 0 ]
  update_plt(om[0], om[1], om[2], x)

  input()

  while flag:
    flag = False
    for sample in sample_list:
      if om[0] * sample[0] + om[1] * sample[1] + om[2] * sample[2] < 0:
        om[0] += sample[0]
        om[1] += sample[1]
        om[2] += sample[2]
        flag = True
        update_plt(om[0], om[1], om[2], x)

  print(f'运行结束，已收敛')

  plt.ioff()
  plt.show()