机器学习（一）：BP神经网络（含代码及注释）

人工神经网络

      人们利用数学模型来模仿生物神经元传递信息以及做出决策等等。
      下图神经网络数学模型可以等效为输入矩阵X与系数矩阵W相乘并加上偏置项求和，并利用激活函数 f（） 进行映射，从而得到输出。其中，系数矩阵W和偏置项是需要我们利用训练集数据进行调整优化，使得整个网络能完成特定任务。

神经网络分类

1. 按照连接方式，可以分为：前向神经网络 和 反馈（递归）神经网络
2. 按照学习方式，可以分为：有监督学习神经网络 和 无监督学习神经网络
3. 按照实现功能，可以分为：拟合（回归）神经网络 和 分类神经网络

BP神经网络

BP神经网络时人工神经网络的一种，属于有监督学习，主要流程：

1. 准备数据集，搭建网络模型，参数初始化
2. 正向传播，计算结点输出值
3. 反向传播，计算每个结点误差，调整权值参数
4. 直至网络收敛到规定值

正向传播：

反向传播，计算误差


调整权值W ------> W’

代码实现

利用MATLAB代码（含详细注释）实现BP神经网络，其中最为核心的就是newff()函数，大家可以看看源码（在命令执行窗口中输入edit newff），其实就是上述流程的数学推导计算：

% I. 清空环境变量
clear all
clc

% II. 训练集/测试集产生
% 1. 导入数据集，可以替换为自己的数据集
load spectra_data.mat

% 2. 随机产生训练集和测试集
temp = randperm(size(NIR,1));
% 训练集——50个样本，P为输入数据，T为对应输入数据的输出结果
P_train = NIR(temp(1:50),:)';
T_train = octane(temp(1:50),:)';
% 测试集——10个样本
P_test = NIR(temp(51:end),:)';
T_test = octane(temp(51:end),:)';
N = size(P_test,2);

% III. 数据归一化
[p_train, ps_input] = mapminmax(P_train,0,1);
p_test = mapminmax('apply',P_test,ps_input);

[t_train, ps_output] = mapminmax(T_train,0,1);

% IV. BP神经网络创建、训练及仿真测试
% 1. 创建网络，[9,9]意思为网络含有两个隐藏层，每层有9个单元
net = newff(p_train,t_train,[9,9]);

% 2. 设置训练参数
net.trainParam.epochs = 1000;%训练批次
net.trainParam.goal = 1e-12;%训练目标，误差小于1e-12即结束训练
net.trainParam.lr = 0.01;%设置学习率
%另外也可以设置其他训练参数，可看newff()函数介绍手册

% 3. 训练网络
net = train(net,p_train,t_train);

% 4. 仿真测试
t_sim = sim(net,p_test);

% 5. 数据反归一化
T_sim = mapminmax('reverse',t_sim,ps_output);

% V. 性能评价
% 1. 相对误差error
error = abs(T_sim - T_test)./T_test;

% 2. 决定系数R^2
R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); 

% 3. 结果对比
result = [T_test' T_sim' error']

% VI. 绘图
figure
plot(1:N,T_test,'b:*',1:N,T_sim,'r-o')
legend('真实值','预测值')
xlabel('预测样本')
ylabel('xxxx')
string = {'xxxxxx预测结果对比';['R^2=' num2str(R2)]};
title(string)

这是matlab中建立的网络模型简图

结果图：