14. 感知机原理与代码实现

感知机原理及代码实现

完整的实验代码在我的github上👉QYHcrossover/ML-numpy: 机器学习算法numpy实现 (github.com) 欢迎star⭐

感知机（Perceptron）是一种二分类的线性分类模型，是神经网络和深度学习的基础。它由美国学者Frank Rosenblatt于1957年提出。感知机的主要思想是利用输入向量和权值向量的线性组合，通过激活函数得到输出结果，从而实现对输入数据的分类。

感知机原理

感知机是一种二分类的线性分类模型，它的输入为实例的特征向量，输出为实例的类别，取+1和-1两个值。感知机的主要思想是利用输入向量和权值向量的线性组合，通过激活函数得到输出结果，从而实现对输入数据的分类。

具体来说，对于一个输入向量$x=(x_1,x_2,\cdots ,x_n)$和一个对应的输出y，以二分类问题为例，感知机的输出为：

$$f(x)=\mathrm{sign}(w\cdot x+b)$$

其中，$w=(w_1,w_2,\cdots ,w_n)$为权值向量，$b$为偏置，$\mathrm{sign}$为符号函数，即：

$$\mathrm{sign}(x)=\{\begin{array}{ll}+1,& \text{x>0}\\ -1,& \text{x<0}\end{array}$$

感知机的训练目标是找到一组合适的权值向量和偏置，使得感知机对训练数据集中的样本分类正确率最高。感知机的训练算法采用的是随机梯度下降法（Stochastic Gradient Descent）。

在训练过程中，对于每个训练样本$(x_i,y_i)$，若感知机对其的输出值与真实值不符，则进行如下更新：

$$\begin{array}{rl}w& \leftarrow w+\eta y_i{x}_i\\ b& \leftarrow b+\eta y_i\end{array}$$

其中，$\eta$为学习率，取值范围为(0,1]。

以上是感知机的原理介绍，下面是使用Python语言实现简单感知机算法的代码，实现了对二维数据的分类：

感知机代码实现

以下是使用Python语言实现简单感知机算法的代码

import numpy as np
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

class PLA:
	def __init__(self,la=1,max_iter=10000):
		self.theta = None
		self.la = la
		self.max_iter = max_iter

	def fit(self,X,y):
		y = y.reshape(-1,1)
		self.theta = np.zeros([X.shape[-1]+1,1])  # theta 定义为列向量
		X_ = np.ones([X.shape[0],X.shape[1]+1])   # 扩展 X
		X_[:,1:] = X
		X_y = X_ * y  # 将X与ｙ相乘得到
		iter_ = 0
		while iter_< self.max_iter:
			R = X_y @ self.theta # 得到矩阵
			B = R > 0
			if np.alltrue(B):
				break
			for xy in X_y[B.squeeze()==False]:
				self.theta += self.la * xy.reshape(-1,1)
			iter_ += 1

	def predict(self,X):
		X_ = np.ones([X.shape[0],X.shape[1]+1])   # 扩展 X
		X_[:,1:] = X
		predicts = X_@self.theta
		index1 = predicts<=0
		index2 = predicts>0
		predicts[index1] = -1
		predicts[index2] = 1
		return predicts.ravel()

	def score(self,X,y):
		y_preds = self.predict(X)
		return np.sum(y_preds == y) / len(y)

if __name__ == "__main__":
	X,y = make_blobs(200,2,2,random_state=222)
	plt.scatter(X[y==0][:,0],X[y==0][:,1],color="red")
	plt.scatter(X[y==1][:,0],X[y==1][:,1],color="blue")
	y[y==0] = -1
	
	pla = PLA()
	pla.fit(X,y.reshape(-1,1))
	k = - pla.theta[1][0] / pla.theta[2][0]
	b = - pla.theta[0][0] / pla.theta[2][0]
	minx,maxx = np.min(X,axis=0)[0],np.max(X,axis=0)[0]
	print(minx,maxx)
	plt.plot([minx,maxx],[k*minx+b,k*maxx+b],"m-")
	plt.show()

上述代码实现了一个简单的感知机算法，用于对二维数据进行分类。具体流程如下：

1. 导入必要的库：numpy、make_blobs（用于生成随机数据集）、Matplotlib.pyplot。

2. 定义一个PLA类，包含三个方法：__init__、fit、predict和score。其中，__init__方法用于初始化感知机的参数，fit方法用于训练感知机，predict方法用于对新数据进行预测，score方法用于计算感知机的准确率。

   代码fit函数的主要作用是训练感知机。它的输入参数为训练数据集X和标签y，其中X的每一行表示一个数据样本，y的每个元素表示对应数据样本的标签。函数通过随机梯度下降法更新权重向量和偏置，使感知机对训练数据集中的样本分类正确率最高。

   具体来说，函数首先将标签y转换为列向量。然后将权重向量初始化为0，将数据集X扩展为增广矩阵，即在每个样本前面添加一个1，以便于计算偏置。函数接着将增广矩阵和标签向量逐行相乘，得到$X_y$矩阵。接着，函数进入一个循环，对于每个训练样本，如果感知机对其的输出值与真实值不符，则根据随机梯度下降法进行权重向量和偏置的更新。循环中的每次更新都是针对单个样本的，因此称之为随机梯度下降法。循环执行的次数不超过设定的最大迭代次数max_iter。

   最终，函数通过训练得到了感知机的权重向量和偏置，用于后续的预测任务。

   predict函数的作用是对新数据进行预测。它的输入参数为一个数据集X，输出每个数据点的预测标签。具体实现方式为：将每个数据点扩展为增广向量，即在数据向量前面添加一个1，以便于计算偏置。然后将所有数据点的增广向量乘以感知机的权重向量和偏置，得到一个列向量，表示每个数据点的预测结果。最后，根据预测结果的正负号将其转换为+1或-1的标签，作为该数据点的预测标签。

3. 生成随机数据集：使用make_blobs函数生成200个二维数据点，分为两个类别。

4. 训练感知机：使用PLA类的fit方法，传入数据集和标签，训练出感知机的参数。

5. 绘制数据点和分类线：根据训练出的感知机参数，计算出分类线的斜率和截距，并绘制出数据点和分类线。

总结

感知机是一种简单而有效的二分类算法，其主要思想是利用输入向量和权值向量的线性组合，通过激活函数得到输出结果，从而实现对输入数据的分类。本文介绍了使用Python语言实现简单感知机算法的代码，用于对二维数据进行分类。感知机是机器学习的基础算法之一，对于线性可分的数据集可以取得较好的分类效果。

完整的实验代码在我的github上👉QYHcrossover/ML-numpy: 机器学习算法numpy实现 (github.com) 欢迎star⭐