感知机算法的python实现

算法原理

这是《统计学习方法》对感知机算法原理的描述：

为简化问题难度，本文只讨论二维平面上点的线性可分。我们可以不用理会“超平面”这个概念的原意。在这个前提下，感知机要解决的问题是给出一条直线，将二维平面上的正实例点和负实例点线性分开，参照下图（蓝色为正实例点，红色为负实例点）。

可将算法逻辑表述如下：

因为手头没有可以使用的现成数据，我们可以随机生成一些点并将其提前分好类，然后再训练这些点，得到分类直线wx+b=0。

完整代码及分块剖析

总体逻辑

分块剖析

1、导入计算库

# 导入数据包
import numpy as np  #numpy为开源的python科学计算扩展库，用于处理任意维度数组和矩阵
import matplotlib.pyplot as plt  #matplotlib库用于数据可视化，即画图
import random  #导入随机数模块
from typing import List,Tuple
"""
import A as B 意为为简化命名，给A起了个别名B
typing模块的作用：类型检查，防止运行时出现参数和返回值类型不符合
List(列表)为python的基本数据结构，其中每个元素都被分配一个数字,这个数字就是它的位置或索引
Tuple(元组)为特殊的有序列表，它一旦被创建完，其对每个元素的指引不能被修改
"""

2、随机生成点与理想直线，并根据理想直线将点分类

#定义随机点的生成函数
def sample_point(w:float,b:float,num:int)->Tuple[List[List[float]],List[float]]:
    x, y=[], []  #x和y是列表
    for _ in range(num):  #若在循环体中不需要用到自定义变量，可将自定义变量写为下划线‘_’
        p_x1 = np.random.random_sample(1) * 20 - 10
        p_x2 = np.random.random_sample(1) * 20 - 10
        if w*p_x1+b-p_x2>0:  #若某点在理想直线上方
            p_y=1  #将该点标记为正实例点
        else:
            p_y=-1  #否则将该点标记为负实例点
        x.append([p_x1, p_x2])  #python允许列表的单个元素为列表
        y.append(p_y)
    return x, y
"""
:是参数的类型建议符，>是函数返回值的类型建议符,两者作用是标注参数和函数返回值类型，降代码阅读难度
numpy.random.random_sample()是生成一个[0,1)之间随机浮点数或N维浮点数组
"""

#随机生成一条直线，将该直线作为理想直线
w_ideal = np.random.random_sample(1)*10-5 #w_ideal范围在[-5,5]
b_ideal = np.random.random_sample(1)*10-5 #b_ideal范围在[-5,5]
x = np.linspace(-10, 10, 800) #linspace(s,e,n)从[s,e]内生成一个含有n个值的序列
line_ideal = w_ideal*x + b_ideal #绘制理想直线

#随机生成一些点，根据直线将这些点划分为2个区域
sample_x, sample_y = sample_point(w_ideal, b_ideal, 500) #随机生成500个点

3、给定训练次数，训练数据，得到拟合直线

#感知机函数
def perceptron(x, y, learning_rate, t)->Tuple[np.ndarray, List[int]]:
    #初始化参数
    theta = np.zeros((3,1))#生成一个2行1列的数组
    error_list =[]#定义一个列表存储每次优化前误分类点的个数

    #开始训练
    for _ in range(t): #训练t次
        error_count = 0 #每次训练开始时误分类点个数为0
        error_index = [] #定义一个列表存储每个误分类点的索引以供后面随机选取
        for i, x_i in enumerate(x): #遍历列表x
            y_i = theta[0] * x_i[0]+theta[1] * x_i[1]+theta[2]
            if y_i * y[i] <= 0: #若某点被分类错误
                error_index.append(i) #将该点索引存入相应列表
                error_count += 1 #误分类点个数加1
        error_list.append(error_count) #将该次优化前误分类点个数存入error_list列表

        if error_count > 0: #若有误分类点
            i = random.choice(error_index) #则从误分类点列表中随机选取一点进行优化
            theta[0] += learning_rate * y[i] * x[i][0]
            theta[1] += learning_rate * y[i] * x[i][1]
            theta[2] += learning_rate * y[i] * 1
    return theta, error_list
"""
x是存储了每点坐标的列表，y是存储每点理想输出的列表，learning_rate为学习率，t为训练次数
ndarray为多维数组，List[int]表示List里的元素为int类型
函数perceptron返回的值是训练完成后得到的最终参数、每次优化前误分类点的个数
"""

#调用感知机进行训练
theta, error_list = perceptron(sample_x, sample_y, 0.5, 100)

4、数据可视化

#数据可视化
#先画训练前得到的随机点图和理想直线
plt.subplot(121) #将整个窗口分为1行2列，当前位置1
plt.xlim([-10,10]) #绘图的x轴范围在[-10,10]
plt.ylim([-10,10])
plt.plot(x,line_ideal, 'g', 'linewidth=10')
for i,p_x in enumerate(sample_x):  #enumerate函数在遍历一个序列时，可同时得到每个元素和其索引
    if sample_y[i] == 1:
        plt.scatter(p_x[0], p_x[1], c='r', alpha=0.3)
    else:
        plt.scatter(p_x[0], p_x[1], c='b', alpha=0.3)

#求解训练完成后得到的参数
w_best = -theta[0] / theta[1]
b_best = -theta[2] / theta[1]

y_best = w_best * x + b_best #计算得到的直线的每点纵坐标
plt.plot(x, y_best, 'c', 'linewidth=10') #绘制得到的直线时，使用不同的颜色以便区分
plt.show()

完整代码

# 导入数据包
import numpy as np  #numpy为开源的python科学计算扩展库，用于处理任意维度数组和矩阵
import matplotlib.pyplot as plt  #matplotlib库用于数据可视化，即画图
import random  #导入随机数模块
from typing import List,Tuple
"""
import A as B 意为为简化命名，给A起了个别名B
typing模块的作用：类型检查，防止运行时出现参数和返回值类型不符合
List(列表)为python的基本数据结构，其中每个元素都被分配一个数字,这个数字就是它的位置或索引
Tuple(元组)为特殊的有序列表，它一旦被创建完，其对每个元素的指引不能被修改
"""
#定义随机点的生成函数
def sample_point(w:float,b:float,num:int)->Tuple[List[List[float]],List[float]]:
    x, y=[], []  #x和y是列表
    for _ in range(num):  #若在循环体中不需要用到自定义变量，可将自定义变量写为下划线‘_’
        p_x1 = np.random.random_sample(1) * 20 - 10
        p_x2 = np.random.random_sample(1) * 20 - 10
        if w*p_x1+b-p_x2>0:  #若某点在理想直线上方
            p_y=1  #将该点标记为正实例点
        else:
            p_y=-1  #否则将该点标记为负实例点
        x.append([p_x1, p_x2])  #python允许列表的单个元素为列表
        y.append(p_y)
    return x, y
"""
:是参数的类型建议符，>是函数返回值的类型建议符,两者作用是标注参数和函数返回值类型，降代码阅读难度
numpy.random.random_sample()是生成一个[0,1)之间随机浮点数或N维浮点数组
"""

#感知机函数
def perceptron(x, y, learning_rate, t)->Tuple[np.ndarray, List[int]]:
    #初始化参数
    theta = np.zeros((3,1))#生成一个2行1列的数组
    error_list =[]#定义一个列表存储每次优化前误分类点的个数

    #开始训练
    for _ in range(t): #训练t次
        error_count = 0 #每次训练开始时误分类点个数为0
        error_index = [] #定义一个列表存储每个误分类点的索引以供后面随机选取
        for i, x_i in enumerate(x): #遍历列表x
            y_i = theta[0] * x_i[0]+theta[1] * x_i[1]+theta[2]
            if y_i * y[i] <= 0: #若某点被分类错误
                error_index.append(i) #将该点索引存入相应列表
                error_count += 1 #误分类点个数加1
        error_list.append(error_count) #将该次优化前误分类点个数存入error_list列表

        if error_count > 0: #若有误分类点
            i = random.choice(error_index) #则从误分类点列表中随机选取一点进行优化
            theta[0] += learning_rate * y[i] * x[i][0]
            theta[1] += learning_rate * y[i] * x[i][1]
            theta[2] += learning_rate * y[i] * 1
    return theta, error_list
"""
x是存储了每点坐标的列表，y是存储每点理想输出的列表，learning_rate为学习率，t为训练次数
ndarray为多维数组，List[int]表示List里的元素为int类型
函数perceptron返回的值是训练完成后得到的最终参数、每次优化前误分类点的个数
"""

#随机生成一条直线，将该直线作为理想直线
w_ideal = np.random.random_sample(1)*10-5 #w_ideal范围在[-5,5]
b_ideal = np.random.random_sample(1)*10-5 #b_ideal范围在[-5,5]
x = np.linspace(-10, 10, 800) #linspace(s,e,n)从[s,e]内生成一个含有n个值的序列
line_ideal = w_ideal*x + b_ideal #绘制理想直线

#随机生成一些点，根据直线将这些点划分为2个区域
sample_x, sample_y = sample_point(w_ideal, b_ideal, 500) #随机生成500个点

#调用感知机进行训练
theta, error_list = perceptron(sample_x, sample_y, 0.5, 100)

#数据可视化
#先画训练前得到的随机点图和理想直线
plt.subplot(121) #将整个窗口分为1行2列，当前位置1
plt.xlim([-10,10]) #绘图的x轴范围在[-10,10]
plt.ylim([-10,10])
plt.plot(x,line_ideal, 'g', 'linewidth=10')
for i,p_x in enumerate(sample_x):  #enumerate函数在遍历一个序列时，可同时得到每个元素和其索引
    if sample_y[i] == 1:
        plt.scatter(p_x[0], p_x[1], c='r', alpha=0.3)
    else:
        plt.scatter(p_x[0], p_x[1], c='b', alpha=0.3)

#求解训练完成后得到的参数
w_best = -theta[0] / theta[1]
b_best = -theta[2] / theta[1]

y_best = w_best * x + b_best #计算得到的直线的每点纵坐标
plt.plot(x, y_best, 'c', 'linewidth=10') #绘制得到的直线时，使用不同的颜色以便区分
plt.show()