《机器学习》学习笔记——BP网络算法实践

最新推荐文章于 2025-01-09 21:20:00 发布
最新推荐文章于 2025-01-09 21:20:00 发布
阅读量727 收藏 13
点赞数 2
分类专栏： 机器学习 文章标签： BP网络 反向传播 机器学习 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40973138/article/details/118073949
版权

目录

  在《机器学习》第五章学习了反向传播算法与BP网络的结构，在此试着用Python搭建一个BP网络。数据集分别使用之前所涉及的西瓜数据集和马疝病数据集：

1. 机器学习数据集——西瓜数据集.zip
2. 机器学习经典二分类数据集——马疝病数据集.zip

同时附上本项目完整文件：
BP网络Python实践.zip

关于具体的算法实现逻辑参考《机器学习》书上的流程：

在这里插入图片描述

1 载入数据

  由于数据集文件中的内容的每一行都代表一条数据，其中最后面的元素代表样本的正/负，即标签。前面其他的元素都是属性取值，故我们需要将数据集文件进行读取并将属性与标签分开存放

fp = open(filename)
# 存放数据
dataset = []
# 存放标签
labelset = []
for i in fp.readlines():
	a = i.strip().split()
	# 每个数据行的最后一个数据作为标签
	dataset.append([float(j) for j in a[:len(a)-1]])
	labelset.append(int(float(a[-1])))
return dataset, labelset

  在 f o r for for循环中，我们依次对文件内容的每一行进行处理。包括对其进行划分，然后取前 n − 1 n-1 n−1个元素作为特征值添加到 d a t a s e t dataset dataset中，而最后一个元素作为标签添加到 l a b e l s e t labelset labelset中，并最后返回这两个列表。

2 网络参数初始化

  在这里我定义了一个 B P N e t BPNet BPNet类，用于初始化网络、网络训练以及测试。另外我还在该类里面定义了 S i g m o i d Sigmoid Sigmoid函数与均方损失计算函数，方便后续的训练与测试过程。
  在对这个类生成对象的时候，我们需要传入输入层的神经元数量、隐层神经元数量、输出层神经元数量、迭代训练的轮数、学习率，以及训练集与测试集的文件路径。

class BPNet:
	# BP网络初始化，输入层神经元数量，隐层神经元数量，输出层神经元数量，迭代训练轮数，学习率，训练集文件路径，测试集文件路径
	def __init__(self, x_num, y_num, z_num, epochs, lr, trainning_set_path, testing_set_path):
		self.x_num = x_num
		self.y_num = y_num
		self.z_num = z_num
		self.epochs = epochs
		self.lr = lr
		self.trainning_set_path = trainning_set_path
		self.testing_set_path = testing_set_path

	# sigmoid函数
	def sigmoid(self, inx):
		return 1 / (1 + np.exp(-inx))

	# 计算均方误差
	def SquareError(self, y, label):
		return np.sum((y-label)**2) / 2

	# BP网络的训练以及测试
	def GradDescent(self):
		# 载入训练/测试数据集与标签集
		trainning_dataset, trainning_labelset = self.loaddataset(self.trainning_set_path)
		testing_dataset, testing_labelset = self.loaddataset(self.testing_set_path)
		# 初始化参数
		# 输入层与隐层的连接权重
		weight1 = np.random.randint(-5, 5, (self.x_num, self.y_num)).astype(np.float64)
		# 隐层与输出层的连接权重
		weight2 = np.random.randint(-5, 5, (self.y_num, self.z_num)).astype(np.float64)
		# 隐层阈值
		value1 = np.random.randint(-5, 5, (1, self.y_num)).astype(np.float64)
		# 输出层阈值
		value2 = np.random.randint(-5, 5, (1, self.z_num)).astype(np.float64)

  可以看到，上面这个代码是不完整的，其只展示到参数初始化就结束了。剩下的部分会在下面进行详述。
  在 G r a d D e s c e n t ( ) GradDescent() GradDescent()函数中，我们先将训练集与测试集的数据载入程序，然后根据输入层、隐层以及输出层的神经元数量构建输入层与隐层的连接权、隐层与输出层的连接权、隐层阈值以及输出层阈值的数据结构并对其随机赋值。

3 开始训练

# BP网络的训练以及测试
def GradDescent(self):
	# 载入训练/测试数据集与标签集
	trainning_dataset, trainning_labelset = self.loaddataset(self.trainning_set_path)
	testing_dataset, testing_labelset = self.loaddataset(self.testing_set_path)
	# 初始化参数
	# 输入层与隐层的连接权重
	weight1 = np.random.randint(-5, 5, (self.x_num, self.y_num)).astype(np.float64)
	# 隐层与输出层的连接权重
	weight2 = np.random.randint(-5, 5, (self.y_num, self.z_num)).astype(np.float64)
	# 隐层阈值
	value1 = np.random.randint(-5, 5, (1, self.y_num)).astype(np.float64)
	# 输出层阈值
	value2 = np.random.randint(-5, 5, (1, self.z_num)).astype(np.float64)
	# 迭代训练
	for epoch in range(self.epochs):
		# 依次训练每条数据
		for i in range(len(trainning_dataset)):
			# 输入数据
			train_input = np.mat(trainning_dataset[i]).astype(np.float64)
			# 数据标签
			train_label = np.mat(trainning_labelset[i]).astype(np.float64)
			# 隐层输入
			input1 = np.dot(train_input, weight1).astype(np.float64)
			# 隐层输出
			output1 = self.sigmoid(input1 - value1).astype(np.float64)
			# 输出层输入
			input2 = np.dot(output1, weight2).astype(np.float64)
			# 输出层输出
			output2 = self.sigmoid(input2 - value2).astype(np.float64)

			# 由链式法则更新参数
			a = np.multiply(output2, 1 - output2)
			g = np.multiply(a, train_label - output2)
			b = np.dot(g, np.transpose(weight2))
			c = np.multiply(output1, 1 - output1)
			e = np.multiply(b, c)
			weight1_change = self.lr * np.dot(np.transpose(train_input), e)
			weight2_change = self.lr * np.dot(np.transpose(output1), g)
			value1_change = -self.lr * e
			value2_change = -self.lr * g
			# 更新参数
			weight1 += weight1_change
			weight2 += weight2_change
			value1 += value1_change
			value2 += value2_change
		if epoch % 25 == 0:
			print(self.SquareError(output2, train_label))

  这里只展示了 G r a d D e s c e n t ( ) GradDescent() GradDescent()函数中对于参数初始化与模型训练的过程。在模型训练的过程中，我们先是将各层的前向传播的输入输出结果计算出来，然后根据链式法则对各个参数进行更新。具体的参数更新算法如下
Δ w h j = η g j b h \Delta w_{hj}=\eta g_jb_h Δwhj​=ηgj​bh​

Δ θ j = − η g j \Delta \theta_j=-\eta g_j Δθj​=−ηgj​

Δ v i h = η e h x i \Delta v_{ih}=\eta e_hx_i Δvih​=ηeh​xi​

Δ γ h = − η e h \Delta \gamma_h=-\eta e_h Δγh​=−ηeh​

其中 e h = b h ( 1 − b h ) ∑ j = 1 l w h j g j e_h=b_h(1-b_h)\sum_{j=1}^lw_{hj}g_j eh​=bh​(1−bh​)∑j=1l​whj​gj​、 g j = y ^ j k ( 1 − y ^ j k ) ( y j k − y ^ j k ) g_j=\hat y_j^k(1-\hat y_j^k)(y_j^k-\hat y_j^k) gj​=y^​jk​(1−y^​jk​)(yjk​−y^​jk​)

  并且每训练25轮就输出一次平方损失结果。

3 开始测试

# 记录正确分类的数量
rightcount = 0
# 开始测试
for i in range(len(testing_dataset)):
	#计算每一个样例通过该神经网路后的预测值
	test_input = np.mat(testing_dataset[i]).astype(np.float64)
	test_label = np.mat(testing_labelset[i]).astype(np.float64)
	# 隐层输出
	output1 = self.sigmoid(np.dot(test_input, weight1) - value1)
	# 输出层输出
	output2 = self.sigmoid(np.dot(output1, weight2) - value2)
	#确定其预测标签
	if output2 > 0.5:
		flag = 1
	else:
		flag = 0
	if test_label == flag:
		rightcount += 1
	print('预测结果:' + str(flag) + '	标签：' + str(int(test_label)))
print('正确率：' + str(rightcount / len(testing_dataset)))

  这里只展示了测试过程。测试过程就比较简单，直接计算最终的结果，然后与样本标签进行比对即可知道结果的正确与否。最后统计输出测试过程的正确率。

4 测试结果

  首先对于西瓜数据集，每个西瓜数据共有8个属性值与一个标签值，故

WM_TRAINNING_PATH = 'C:/Users/Desktop/西瓜训练集.txt'
WM_TESTING_PATH = 'C:/Users/Desktop/西瓜测试集.txt'

BPNet(8, 10, 1, 100, 0.02, WM_TRAINNING_PATH, WM_TESTING_PATH).GradDescent()

我定义输出层神经元数量为8，隐层神经元数量为10，输出层神经元数量为1，共训练100轮，学习率为0.02。输出结果如下
在这里插入图片描述
可以看到均方损失确实一直在下降，预测结果错了一个，所以正确率为0.8。

  对于马疝病数据集的话

TRAINNING_SET_PATH = 'C:/Users/waao_wuyou/Desktop/horseColicTraining.txt'
TESTING_SET_PATH = 'C:/Users/waao_wuyou/Desktop/horseColicTraining.txt'

BPNet(21, 45, 1, 1400, 0.05, TRAINNING_SET_PATH, TESTING_SET_PATH).GradDescent()

我定义其输入层神经元数量是21，隐层神经元数量是45，输出层神经元数量是1，共训练1400轮，学习率为0.05，其部分结果如下
在这里插入图片描述

正确率可达83%

5 完整代码

#coding=utf8
import numpy as np


# 训练集
TRAINNING_SET_PATH = 'C:/Users/Desktop/horseColicTraining.txt'
# 测试集
TESTING_SET_PATH = 'C:/Users/Desktop/horseColicTraining.txt'

class BPNet:
	# BP网络初始化，输入层神经元数量，隐层神经元数量，输出层神经元数量，迭代训练轮数，学习率，训练集文件路径，测试集文件路径
	def __init__(self, x_num, y_num, z_num, epochs, lr, trainning_set_path, testing_set_path):
		self.x_num = x_num
		self.y_num = y_num
		self.z_num = z_num
		self.epochs = epochs
		self.lr = lr
		self.trainning_set_path = trainning_set_path
		self.testing_set_path = testing_set_path
	
	# 从指定路径文件生成数据集与标签
	def loaddataset(self, filename):
		fp = open(filename)
		# 存放数据
		dataset = []
		# 存放标签
		labelset = []
		for i in fp.readlines():
			a = i.strip().split()
			# 每个数据行的最后一个数据作为标签
			dataset.append([float(j) for j in a[:len(a)-1]])
			labelset.append(int(float(a[-1])))
		return dataset, labelset

	# sigmoid函数
	def sigmoid(self, inx):
		return 1 / (1 + np.exp(-inx))

	# 计算均方误差
	def SquareError(self, y, label):
		return np.sum((y-label)**2) / 2

	# BP网络的训练以及测试
	def GradDescent(self):
		# 载入训练/测试数据集与标签集
		trainning_dataset, trainning_labelset = self.loaddataset(self.trainning_set_path)
		testing_dataset, testing_labelset = self.loaddataset(self.testing_set_path)
		# 初始化参数
		# 输入层与隐层的连接权重
		weight1 = np.random.randint(-5, 5, (self.x_num, self.y_num)).astype(np.float64)
		# 隐层与输出层的连接权重
		weight2 = np.random.randint(-5, 5, (self.y_num, self.z_num)).astype(np.float64)
		# 隐层阈值
		value1 = np.random.randint(-5, 5, (1, self.y_num)).astype(np.float64)
		# 输出层阈值
		value2 = np.random.randint(-5, 5, (1, self.z_num)).astype(np.float64)
		# 迭代训练
		for epoch in range(self.epochs):
			# 依次训练每条数据
			for i in range(len(trainning_dataset)):
				# 输入数据
				train_input = np.mat(trainning_dataset[i]).astype(np.float64)
				# 数据标签
				train_label = np.mat(trainning_labelset[i]).astype(np.float64)
				# 隐层输入
				input1 = np.dot(train_input, weight1).astype(np.float64)
				# 隐层输出
				output1 = self.sigmoid(input1 - value1).astype(np.float64)
				# 输出层输入
				input2 = np.dot(output1, weight2).astype(np.float64)
				# 输出层输出
				output2 = self.sigmoid(input2 - value2).astype(np.float64)

				# 由链式法则更新参数
				a = np.multiply(output2, 1 - output2)
				g = np.multiply(a, train_label - output2)
				b = np.dot(g, np.transpose(weight2))
				c = np.multiply(output1, 1 - output1)
				e = np.multiply(b, c)
				weight1_change = self.lr * np.dot(np.transpose(train_input), e)
				weight2_change = self.lr * np.dot(np.transpose(output1), g)
				value1_change = -self.lr * e
				value2_change = -self.lr * g
				# 更新参数
				weight1 += weight1_change
				weight2 += weight2_change
				value1 += value1_change
				value2 += value2_change
			if epoch % 25 == 0:
				print(self.SquareError(output2, train_label))
		# 记录正确分类的数量
		rightcount = 0
		# 开始测试
		for i in range(len(testing_dataset)):
			#计算每一个样例通过该神经网路后的预测值
			test_input = np.mat(testing_dataset[i]).astype(np.float64)
			test_label = np.mat(testing_labelset[i]).astype(np.float64)
			# 隐层输出
			output1 = self.sigmoid(np.dot(test_input, weight1) - value1)
			# 输出层输出
			output2 = self.sigmoid(np.dot(output1, weight2) - value2)
			#确定其预测标签
			if output2 > 0.5:
				flag = 1
			else:
				flag = 0
			if test_label == flag:
				rightcount += 1
			print('预测结果:' + str(flag) + '	标签：' + str(int(test_label)))
		print('正确率：' + str(rightcount / len(testing_dataset)))
		#返回正确率
		return rightcount / len(testing_dataset)


if __name__ == '__main__':
	BPNet(21, 45, 1, 1400, 0.05, TRAINNING_SET_PATH, TESTING_SET_PATH).GradDescent()

参考：机器学习 BP神经网络(Python实现)

《机器学习与应用》实验二：BP神经网络实验
MAVER1CK的博客
01-02 1158
由仿真结果图可以看出，未经训练的BP网络输出与目标函数差距很大，逼近效果不理想，而对BP网络训练之后的输出可以较精确的逼近目标函数，并且BP网络的训练迭代次数仅约1、2次，网络的输出目标误差就达到了精度要求，收敛速度很快。其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。通过编程实现使用BP网络对函数进行逼近，对BP网络的信号和误差传递的原理以及隐层、输出层权值调整的规则有了充分的理解和认识。
机器学习---BP算法
weixin_43961909的博客
09-28 3169
样本：（输入向量，理想输出向量）①向前传播阶段从样本集中取一个样本（Xp,Yp），将Xp输入到网络；计算相应的实际输出Qp：②向后传播阶段，误差传播阶段计算实际输出Op与相应的理想输出Yp的差；按极小化误差的方法调整权值矩阵。网络中关于第p个样本的误差：
机器学习之BP算法
AchangeC的博客
05-25 3510
一、BP算法理解① BP算法全称 (Error) Back Propagation 算法，中文名曰：误差反向传播算法。②该算法是干嘛的？       计算梯度。更简单点，求(偏)导。对于简单的函数如下：        ...
BP算法
weixin_33875564的博客
03-13 143
1、BP算法的任务： 给定输入样本数据值x1和x2，给定输出值y1和y2，初始化参数w1、w2……、b1、b2……； 目标：调整参数w1、w2……、b1、b2……使输出值接近输出值y1和y2。即求参数。 2、BP算法作用和实质： 用来求解神经网络的算法，是梯度下降和链式求导的结合。 梯度下降： 链式求导： 3、BP 推导过程： 神经网络的损失函数：L（θ）=1/2*（aL-...
机器学习笔记——人工神经网络(2)——后向传播算法
weixin_45669062的博客
09-29 2431
后向传播算法，简称BP算法，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。 后向传播算法（Back Propagation） 主要思想：梯度下降发求局部极值（Gradient Descent Method） 假设有函数 f（ω），我们希望找到这个函数上.
《机器学习by周志华》学习笔记-神经网络-03多层网络学习算法之误差逆传播算法
vanilla698的博客
10-29 986
由于BP神经网络的强大的表示能力，经常遭遇过拟合的问题。表现在训练误差持续降低，但是测试误差却上升。有2种策略解决：策略1：早停（early stopping）将数据分成训练集和验证集：训练集：用来计算梯度，更新连接权重和阈值验证集：用来估计误差当训练集误差降低且验证集误差升高，则停止训练。返回验证集中最小误差的连接权重和阈值。策略2：正则化（regularization）基本思想：在误差目标函数中增加一个用于描述网络复杂度的部分。例如：连接权重与阈值的平方和。
【机器学习】神经网络（BP算法）含具体计算过程
最新发布
学习中
01-09 1971
神经网络由很多。
机器学习实战笔记9——深度神经网络
weixin_44916097的博客
05-27 1754
任务安排 1、机器学习导论       7、逻辑回归 2、KNN及其实现       8、核方法 3、K-means聚类       9、深度神经网络 4、主成分分析          10、？ 5、线性判别分析&nbsp
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
BP网络的学习算法
vili_sky的博客
04-03 1796
BP神经网络具有多种学习算法：最速下降法，BP神经网络 附加动量算法，学习率可变的BP算法和拟牛顿法 （1）最速下降法 梯度下降法(gradient descent)是一个最优化算法，通常也称为最速下降法。 常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用
实验二：BP算法实践|机器学习
taoxing
11-09 1631
目录BP算法（分步）源代码（全部）测试数据集一（鸢尾花集）源代码（全部）测试数据集二（手写数字集）源代码（全部） 实验内容：实现BP算法类，并使用两个数据集进行测试。 BP算法（分步） BP算法主要由前向传递和后向传递两个部分构成。 首先定义BPNetWork类： 初始化函数init，生成四个基本变量（权重+偏置）： '''初始化函数init''' def __init__(self,): ''' w1、w2分别为输入层到隐藏层、隐藏层到输出层的权重；b1
机器学习的相关BP算法理解
weixin_45894897的博客
07-22 1214
机器学习的相关BP算法理解 一.BP算法 1.什么是BP算法 BP算法由信号的正向传播和误差的反向传播两个过程组成 正向传播 时，输入样本从输入层进入网络，经过隐层逐层传递至输出层，如果输出层实际输出与期望输出不同，则误差反向传播；如果相同，则结束算法。 反向传播 时，输出误差按照原路返回计算，先到隐层，再到输入层。反传过程中将误差分给各层各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的依据。通过梯度下降法不断调整各层神经元的权值，使误差信号减小到最低限度。 2.BP算法的简要步骤 （1）初
机器学习入门之BP算法
young_monkeysun的博客
06-04 1604
BP算法简介前言 前言 在上一篇感知器算法中只有一层功能神经元，其只能解决对于与或非等简单线性可分的问题。对于简单的非线性可分的问题，在解决非线性可分的问题时，感知器的学习过程无法找到一个合适的分割平面对数据进行分类。为了解决感知器无法解决异或问题，可以使用多层神经元的感知器模型（一般来说三层就够了，神经网络的层数不是越多越好）。其结构模型如图所示 ...
机器学习基础——BP算法
g11d111的博客
04-29 1万+
BP后向传播算法前言昨天看到了一篇关于BP后向传播的论文，想着把这方面的知识彻底理解一下，本文将基于该论文和基本的BP算法。解释其基本概念和权值调整的运算过程。一、BP神经网络的基本原理 BP（Back Propagation）网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诺亚方包

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值