BP神经网络

最新推荐文章于 2023-01-31 07:45:00 发布
最新推荐文章于 2023-01-31 07:45:00 发布
阅读量866 收藏 3
点赞数
分类专栏： 机器学习算法

今天来讲BP神经网络，神经网络在机器学习中应用比较广泛，比如函数逼近，模式识别，分类，数据压缩，数据

挖掘等领域。接下来介绍BP神经网络的原理及实现。

 

Contents

 

  1. BP神经网络的认识

  2. 隐含层的选取

  3. 正向传递子过程

  4. 反向传递子过程

  5. BP神经网络的注意点

  6. BP神经网络的C++实现

 

 

1. BP神经网络的认识

 

   BP（Back Propagation）神经网络分为两个过程

 

      （1）工作信号正向传递子过程

      （2）误差信号反向传递子过程

 

   在BP神经网络中，单个样本有个输入，有个输出，在输入层和输出层之间通常还有若干个隐含层。实际

   上，1989年Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网

   络来逼近，这就是万能逼近定理。所以一个三层的BP网络就可以完成任意的维到维的映射。即这三层分

   别是输入层（I），隐含层（H），输出层（O）。如下图示

 

        

 

 

2. 隐含层的选取

 

   在BP神经网络中，输入层和输出层的节点个数都是确定的，而隐含层节点个数不确定，那么应该设置为多少

   才合适呢？实际上，隐含层节点个数的多少对神经网络的性能是有影响的，有一个经验公式可以确定隐含层

   节点数目，如下

 

                

 

   其中为隐含层节点数目，为输入层节点数目，为输出层节点数目，为之间的调节常数。

 

 

3. 正向传递子过程

 

   现在设节点和节点之间的权值为，节点的阀值为，每个节点的输出值为，而每个节点的输出

   值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的阀值还有激活函数来实现

   的。具体计算方法如下

 

                    

 

   其中为激活函数，一般选取S型函数或者线性函数。

 

   正向传递的过程比较简单，按照上述公式计算即可。在BP神经网络中，输入层节点没有阀值。

 

 

4. 反向传递子过程

 

   在BP神经网络中，误差信号反向传递子过程比较复杂，它是基于Widrow-Hoff学习规则的。假设输出层

   的所有结果为，误差函数如下

 

                    

 

   而BP神经网络的主要目的是反复修正权值和阀值，使得误差函数值达到最小。Widrow-Hoff学习规则

   是通过沿着相对误差平方和的最速下降方向，连续调整网络的权值和阀值，根据梯度下降法，权值矢量

   的修正正比于当前位置上E(w,b)的梯度，对于第个输出节点有

 

                    

   假设选择激活函数为

 

                    

 

   对激活函数求导，得到

 

                   

 

   那么接下来针对有

 

                   

 

   其中有

                            

 

   同样对于有

 

                 

 

   这就是著名的学习规则，通过改变神经元之间的连接权值来减少系统实际输出和期望输出的误差，这个规

   则又叫做Widrow-Hoff学习规则或者纠错学习规则。

  

   上面是对隐含层和输出层之间的权值和输出层的阀值计算调整量，而针对输入层和隐含层和隐含层的阀值调

   整量的计算更为复杂。假设是输入层第k个节点和隐含层第i个节点之间的权值，那么有

 

                

   其中有

 

                

 

   这样对学习规则理解更为深刻了吧。

 

   有了上述公式，根据梯度下降法，那么对于隐含层和输出层之间的权值和阀值调整如下

 

                

 

   而对于输入层和隐含层之间的权值和阀值调整同样有

 

                

 

   至此BP神经网络的原理基本讲完。

 

 

5. BP神经网络的注意点

 

   BP神经网络一般用于分类或者逼近问题。如果用于分类，则激活函数一般选用Sigmoid函数或者硬极限函

   数，如果用于函数逼近，则输出层节点用线性函数，即。

 

   BP神经网络在训练数据时可以采用增量学习或者批量学习。

 

   增量学习要求输入模式要有足够的随机性，对输入模式的噪声比较敏感，即对于剧烈变化的输入模式，训

   练效果比较差，适合在线处理。批量学习不存在输入模式次序问题，稳定性好，但是只适合离线处理。

 

   标准BP神经网络的缺陷：

 

   （1）容易形成局部极小值而得不到全局最优值。

       BP神经网络中极小值比较多，所以很容易陷入局部极小值，这就要求对初始权值和阀值有要求，要使

       得初始权值和阀值随机性足够好，可以多次随机来实现。

   （2）训练次数多使得学习效率低，收敛速度慢。

   （3）隐含层的选取缺乏理论的指导。

   （4）训练时学习新样本有遗忘旧样本的趋势。

   

   BP算法的改进：

 

   （1）增加动量项

       引入动量项是为了加速算法收敛，即如下公式

 

       

 

       动量因子一般选取。

 

   （2）自适应调节学习率

   （3）引入陡度因子

 

   通常BP神经网络在训练之前会对数据归一化处理，即将数据映射到更小的区间内，比如[0,1]或[-1,1]。

 

 

6. BP神经网络的C++实现

 

   BP神经网络的C++文件如下

 

   

 

BP.h：

[cpp] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. #ifndef _BP_H_  
  2. #define _BP_H_  
  3.    
  4. #include <vector>  
  5.    
  6. #define LAYER    3        //三层神经网络  
  7. #define NUM      10       //每层的最多节点数  
  8.    
  9. #define A        30.0  
  10. #define B        10.0     //A和B是S型函数的参数  
  11. #define ITERS    1000     //最大训练次数  
  12. #define ETA_W    0.0035   //权值调整率  
  13. #define ETA_B    0.001    //阀值调整率  
  14. #define ERROR    0.002    //单个样本允许的误差  
  15. #define ACCU     0.005    //每次迭代允许的误差  
  16.    
  17. #define Type double  
  18. #define Vector std::vector  
  19.    
  20. struct Data  
  21. {  
  22.     Vector<Type> x;       //输入数据  
  23.     Vector<Type> y;       //输出数据  
  24. };  
  25.    
  26. class BP{  
  27.    
  28. public:  
  29.    
  30.     void GetData(const Vector<Data>);  
  31.     void Train();  
  32.     Vector<Type> ForeCast(const Vector<Type>);  
  33.    
  34. private:  
  35.    
  36.     void InitNetWork();         //初始化网络  
  37.     void GetNums();             //获取输入、输出和隐含层节点数  
  38.     void ForwardTransfer();     //正向传播子过程  
  39.     void ReverseTransfer(int);  //逆向传播子过程  
  40.     void CalcDelta(int);        //计算w和b的调整量  
  41.     void UpdateNetWork();       //更新权值和阀值  
  42.     Type GetError(int);         //计算单个样本的误差  
  43.     Type GetAccu();             //计算所有样本的精度  
  44.     Type Sigmoid(const Type);   //计算Sigmoid的值  
  45.    
  46. private:  
  47.     int in_num;                 //输入层节点数  
  48.     int ou_num;                 //输出层节点数  
  49.     int hd_num;                 //隐含层节点数  
  50.    
  51.     Vector<Data> data;          //输入输出数据  
  52.    
  53.     Type w[LAYER][NUM][NUM];    //BP网络的权值  
  54.     Type b[LAYER][NUM];         //BP网络节点的阀值  
  55.        
  56.     Type x[LAYER][NUM];         //每个神经元的值经S型函数转化后的输出值，输入层就为原值  
  57.     Type d[LAYER][NUM];         //记录delta学习规则中delta的值  
  58. };  
  59.    
  60. #endif  //_BP_H_  
#ifndef _BP_H_
#define _BP_H_
 
#include <vector>
 
#define LAYER    3        //三层神经网络
#define NUM      10       //每层的最多节点数
 
#define A        30.0
#define B        10.0     //A和B是S型函数的参数
#define ITERS    1000     //最大训练次数
#define ETA_W    0.0035   //权值调整率
#define ETA_B    0.001    //阀值调整率
#define ERROR    0.002    //单个样本允许的误差
#define ACCU     0.005    //每次迭代允许的误差
 
#define Type double
#define Vector std::vector
 
struct Data
{
    Vector<Type> x;       //输入数据
    Vector<Type> y;       //输出数据
};
 
class BP{
 
public:
 
    void GetData(const Vector<Data>);
    void Train();
    Vector<Type> ForeCast(const Vector<Type>);
 
private:
 
    void InitNetWork();         //初始化网络
    void GetNums();             //获取输入、输出和隐含层节点数
    void ForwardTransfer();     //正向传播子过程
    void ReverseTransfer(int);  //逆向传播子过程
    void CalcDelta(int);        //计算w和b的调整量
    void UpdateNetWork();       //更新权值和阀值
    Type GetError(int);         //计算单个样本的误差
    Type GetAccu();             //计算所有样本的精度
    Type Sigmoid(const Type);   //计算Sigmoid的值
 
private:
    int in_num;                 //输入层节点数
    int ou_num;                 //输出层节点数
    int hd_num;                 //隐含层节点数
 
    Vector<Data> data;          //输入输出数据
 
    Type w[LAYER][NUM][NUM];    //BP网络的权值
    Type b[LAYER][NUM];         //BP网络节点的阀值
     
    Type x[LAYER][NUM];         //每个神经元的值经S型函数转化后的输出值，输入层就为原值
    Type d[LAYER][NUM];         //记录delta学习规则中delta的值
};
 
#endif  //_BP_H_


BP.cpp：

[cpp] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. #include <string.h>  
  2. #include <stdio.h>  
  3. #include <math.h>  
  4. #include <assert.h>  
  5. #include "BP.h"  
  6.   
  7. //获取训练所有样本数据  
  8. void BP::GetData(const Vector<Data> _data)  
  9. {  
  10.     data = _data;  
  11. }  
  12.   
  13. //开始进行训练  
  14. void BP::Train()  
  15. {  
  16.     printf("Begin to train BP NetWork!\n");  
  17.     GetNums();  
  18.     InitNetWork();  
  19.     int num = data.size();  
  20.   
  21.     for(int iter = 0; iter <= ITERS; iter++)  
  22.     {  
  23.         for(int cnt = 0; cnt < num; cnt++)  
  24.         {  
  25.             //第一层输入节点赋值  
  26.             for(int i = 0; i < in_num; i++)  
  27.                 x[0][i] = data.at(cnt).x[i];  
  28.   
  29.             while(1)  
  30.             {  
  31.                 ForwardTransfer();       
  32.                 if(GetError(cnt) < ERROR)    //如果误差比较小，则针对单个样本跳出循环  
  33.                     break;  
  34.                 ReverseTransfer(cnt);    
  35.             }  
  36.         }  
  37.         printf("This is the %d th trainning NetWork !\n", iter);  
  38.   
  39.         Type accu = GetAccu();  
  40.         printf("All Samples Accuracy is %lf\n", accu);  
  41.         if(accu < ACCU) break;  
  42.     }  
  43.     printf("The BP NetWork train End!\n");  
  44. }  
  45.   
  46. //根据训练好的网络来预测输出值  
  47. Vector<Type> BP::ForeCast(const Vector<Type> data)  
  48. {  
  49.     int n = data.size();  
  50.     assert(n == in_num);  
  51.     for(int i = 0; i < in_num; i++)  
  52.         x[0][i] = data[i];  
  53.       
  54.     ForwardTransfer();  
  55.     Vector<Type> v;  
  56.     for(int i = 0; i < ou_num; i++)  
  57.         v.push_back(x[2][i]);  
  58.     return v;  
  59. }  
  60.   
  61. //获取网络节点数  
  62. void BP::GetNums()  
  63. {  
  64.     in_num = data[0].x.size();                         //获取输入层节点数  
  65.     ou_num = data[0].y.size();                         //获取输出层节点数  
  66.     hd_num = (int)sqrt((in_num + ou_num) * 1.0) + 5;   //获取隐含层节点数  
  67.     if(hd_num > NUM) hd_num = NUM;                     //隐含层数目不能超过最大设置  
  68. }  
  69.   
  70. //初始化网络  
  71. void BP::InitNetWork()  
  72. {  
  73.     memset(w, 0, sizeof(w));      //初始化权值和阀值为0，也可以初始化随机值  
  74.     memset(b, 0, sizeof(b));  
  75. }  
  76.   
  77. //工作信号正向传递子过程  
  78. void BP::ForwardTransfer()  
  79. {  
  80.     //计算隐含层各个节点的输出值  
  81.     for(int j = 0; j < hd_num; j++)  
  82.     {  
  83.         Type t = 0;  
  84.         for(int i = 0; i < in_num; i++)  
  85.             t += w[1][i][j] * x[0][i];  
  86.         t += b[1][j];  
  87.         x[1][j] = Sigmoid(t);  
  88.     }  
  89.   
  90.     //计算输出层各节点的输出值  
  91.     for(int j = 0; j < ou_num; j++)  
  92.     {  
  93.         Type t = 0;  
  94.         for(int i = 0; i < hd_num; i++)  
  95.             t += w[2][i][j] * x[1][i];  
  96.         t += b[2][j];  
  97.         x[2][j] = Sigmoid(t);  
  98.     }  
  99. }  
  100.   
  101. //计算单个样本的误差  
  102. Type BP::GetError(int cnt)  
  103. {  
  104.     Type ans = 0;  
  105.     for(int i = 0; i < ou_num; i++)  
  106.         ans += 0.5 * (x[2][i] - data.at(cnt).y[i]) * (x[2][i] - data.at(cnt).y[i]);  
  107.     return ans;  
  108. }  
  109.   
  110. //误差信号反向传递子过程  
  111. void BP::ReverseTransfer(int cnt)  
  112. {  
  113.     CalcDelta(cnt);     
  114.     UpdateNetWork();  
  115. }  
  116.   
  117. //计算所有样本的精度  
  118. Type BP::GetAccu()  
  119. {  
  120.     Type ans = 0;  
  121.     int num = data.size();  
  122.     for(int i = 0; i < num; i++)  
  123.     {  
  124.         int m = data.at(i).x.size();  
  125.         for(int j = 0; j < m; j++)  
  126.             x[0][j] = data.at(i).x[j];  
  127.         ForwardTransfer();  
  128.         int n = data.at(i).y.size();  
  129.         for(int j = 0; j < n; j++)  
  130.             ans += 0.5 * (x[2][j] - data.at(i).y[j]) * (x[2][j] - data.at(i).y[j]);  
  131.     }  
  132.     return ans / num;  
  133. }  
  134.   
  135. //计算调整量  
  136. void BP::CalcDelta(int cnt)  
  137. {  
  138.     //计算输出层的delta值  
  139.     for(int i = 0; i < ou_num; i++)  
  140.         d[2][i] = (x[2][i] - data.at(cnt).y[i]) * x[2][i] * (A - x[2][i]) / (A * B);  
  141.     //计算隐含层的delta值  
  142.     for(int i = 0; i < hd_num; i++)  
  143.     {  
  144.         Type t = 0;  
  145.         for(int j = 0; j < ou_num; j++)  
  146.             t += w[2][i][j] * d[2][j];  
  147.         d[1][i] = t * x[1][i] * (A - x[1][i]) / (A * B);  
  148.     }  
  149. }  
  150.   
  151. //根据计算出的调整量对BP网络进行调整  
  152. void BP::UpdateNetWork()  
  153. {  
  154.     //隐含层和输出层之间权值和阀值调整  
  155.     for(int i = 0; i < hd_num; i++)  
  156.     {  
  157.         for(int j = 0; j < ou_num; j++)  
  158.             w[2][i][j] -= ETA_W * d[2][j] * x[1][i];   
  159.     }  
  160.     for(int i = 0; i < ou_num; i++)  
  161.         b[2][i] -= ETA_B * d[2][i];  
  162.   
  163.     //输入层和隐含层之间权值和阀值调整  
  164.     for(int i = 0; i < in_num; i++)  
  165.     {  
  166.         for(int j = 0; j < hd_num; j++)  
  167.             w[1][i][j] -= ETA_W * d[1][j] * x[0][i];  
  168.     }  
  169.     for(int i = 0; i < hd_num; i++)  
  170.         b[1][i] -= ETA_B * d[1][i];  
  171. }  
  172.   
  173. //计算Sigmoid函数的值  
  174. Type BP::Sigmoid(const Type x)  
  175. {  
  176.     return A / (1 + exp(-x / B));  
  177. }  
#include <string.h>
#include <stdio.h>
#include <math.h>
#include <assert.h>
#include "BP.h"

//获取训练所有样本数据
void BP::GetData(const Vector<Data> _data)
{
	data = _data;
}

//开始进行训练
void BP::Train()
{
	printf("Begin to train BP NetWork!\n");
	GetNums();
	InitNetWork();
    int num = data.size();

	for(int iter = 0; iter <= ITERS; iter++)
	{
		for(int cnt = 0; cnt < num; cnt++)
		{
			//第一层输入节点赋值
			for(int i = 0; i < in_num; i++)
				x[0][i] = data.at(cnt).x[i];

			while(1)
			{
				ForwardTransfer();     
                if(GetError(cnt) < ERROR)    //如果误差比较小，则针对单个样本跳出循环
					break;
                ReverseTransfer(cnt);  
			}
		}
		printf("This is the %d th trainning NetWork !\n", iter);

		Type accu = GetAccu();
		printf("All Samples Accuracy is %lf\n", accu);
		if(accu < ACCU) break;
	}
	printf("The BP NetWork train End!\n");
}

//根据训练好的网络来预测输出值
Vector<Type> BP::ForeCast(const Vector<Type> data)
{
	int n = data.size();
	assert(n == in_num);
    for(int i = 0; i < in_num; i++)
		x[0][i] = data[i];
    
	ForwardTransfer();
	Vector<Type> v;
	for(int i = 0; i < ou_num; i++)
		v.push_back(x[2][i]);
	return v;
}

//获取网络节点数
void BP::GetNums()
{
	in_num = data[0].x.size();                         //获取输入层节点数
	ou_num = data[0].y.size();                         //获取输出层节点数
    hd_num = (int)sqrt((in_num + ou_num) * 1.0) + 5;   //获取隐含层节点数
	if(hd_num > NUM) hd_num = NUM;                     //隐含层数目不能超过最大设置
}

//初始化网络
void BP::InitNetWork()
{
    memset(w, 0, sizeof(w));      //初始化权值和阀值为0，也可以初始化随机值
	memset(b, 0, sizeof(b));
}

//工作信号正向传递子过程
void BP::ForwardTransfer()
{
	//计算隐含层各个节点的输出值
	for(int j = 0; j < hd_num; j++)
	{
		Type t = 0;
		for(int i = 0; i < in_num; i++)
			t += w[1][i][j] * x[0][i];
		t += b[1][j];
		x[1][j] = Sigmoid(t);
	}

	//计算输出层各节点的输出值
	for(int j = 0; j < ou_num; j++)
	{
		Type t = 0;
		for(int i = 0; i < hd_num; i++)
			t += w[2][i][j] * x[1][i];
		t += b[2][j];
		x[2][j] = Sigmoid(t);
	}
}

//计算单个样本的误差
Type BP::GetError(int cnt)
{
	Type ans = 0;
	for(int i = 0; i < ou_num; i++)
		ans += 0.5 * (x[2][i] - data.at(cnt).y[i]) * (x[2][i] - data.at(cnt).y[i]);
	return ans;
}

//误差信号反向传递子过程
void BP::ReverseTransfer(int cnt)
{
	CalcDelta(cnt);   
	UpdateNetWork();
}

//计算所有样本的精度
Type BP::GetAccu()
{
	Type ans = 0;
	int num = data.size();
	for(int i = 0; i < num; i++)
	{
		int m = data.at(i).x.size();
		for(int j = 0; j < m; j++)
			x[0][j] = data.at(i).x[j];
        ForwardTransfer();
		int n = data.at(i).y.size();
		for(int j = 0; j < n; j++)
            ans += 0.5 * (x[2][j] - data.at(i).y[j]) * (x[2][j] - data.at(i).y[j]);
	}
	return ans / num;
}

//计算调整量
void BP::CalcDelta(int cnt)
{
	//计算输出层的delta值
	for(int i = 0; i < ou_num; i++)
		d[2][i] = (x[2][i] - data.at(cnt).y[i]) * x[2][i] * (A - x[2][i]) / (A * B);
	//计算隐含层的delta值
	for(int i = 0; i < hd_num; i++)
	{
		Type t = 0;
		for(int j = 0; j < ou_num; j++)
			t += w[2][i][j] * d[2][j];
		d[1][i] = t * x[1][i] * (A - x[1][i]) / (A * B);
	}
}

//根据计算出的调整量对BP网络进行调整
void BP::UpdateNetWork()
{
	//隐含层和输出层之间权值和阀值调整
	for(int i = 0; i < hd_num; i++)
	{
		for(int j = 0; j < ou_num; j++)
			w[2][i][j] -= ETA_W * d[2][j] * x[1][i]; 
	}
	for(int i = 0; i < ou_num; i++)
		b[2][i] -= ETA_B * d[2][i];

	//输入层和隐含层之间权值和阀值调整
	for(int i = 0; i < in_num; i++)
	{
		for(int j = 0; j < hd_num; j++)
			w[1][i][j] -= ETA_W * d[1][j] * x[0][i];
	}
	for(int i = 0; i < hd_num; i++)
		b[1][i] -= ETA_B * d[1][i];
}

//计算Sigmoid函数的值
Type BP::Sigmoid(const Type x)
{
	return A / (1 + exp(-x / B));
}

Test.cpp：

[cpp] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. #include <iostream>  
  2. #include <string.h>  
  3. #include <stdio.h>  
  4.    
  5. #include "BP.h"  
  6.    
  7. using namespace std;  
  8.    
  9. double sample[41][4]=   
  10. {   
  11.     {0,0,0,0},   
  12.     {5,1,4,19.020},   
  13.     {5,3,3,14.150},   
  14.     {5,5,2,14.360},   
  15.     {5,3,3,14.150},   
  16.     {5,3,2,15.390},   
  17.     {5,3,2,15.390},   
  18.     {5,5,1,19.680},   
  19.     {5,1,2,21.060},   
  20.     {5,3,3,14.150},   
  21.     {5,5,4,12.680},   
  22.     {5,5,2,14.360},   
  23.     {5,1,3,19.610},   
  24.     {5,3,4,13.650},   
  25.     {5,5,5,12.430},   
  26.     {5,1,4,19.020},   
  27.     {5,1,4,19.020},   
  28.     {5,3,5,13.390},   
  29.     {5,5,4,12.680},   
  30.     {5,1,3,19.610},   
  31.     {5,3,2,15.390},   
  32.     {1,3,1,11.110},   
  33.     {1,5,2,6.521},   
  34.     {1,1,3,10.190},   
  35.     {1,3,4,6.043},   
  36.     {1,5,5,5.242},   
  37.     {1,5,3,5.724},   
  38.     {1,1,4,9.766},   
  39.     {1,3,5,5.870},   
  40.     {1,5,4,5.406},   
  41.     {1,1,3,10.190},   
  42.     {1,1,5,9.545},   
  43.     {1,3,4,6.043},   
  44.     {1,5,3,5.724},   
  45.     {1,1,2,11.250},   
  46.     {1,3,1,11.110},   
  47.     {1,3,3,6.380},   
  48.     {1,5,2,6.521},   
  49.     {1,1,1,16.000},   
  50.     {1,3,2,7.219},   
  51.     {1,5,3,5.724}   
  52. };   
  53.    
  54. int main()  
  55. {  
  56.     Vector<Data> data;  
  57.     for(int i = 0; i < 41; i++)  
  58.     {  
  59.         Data t;  
  60.         for(int j = 0; j < 3; j++)  
  61.             t.x.push_back(sample[i][j]);  
  62.         t.y.push_back(sample[i][3]);  
  63.         data.push_back(t);  
  64.     }  
  65.     BP *bp = new BP();  
  66.     bp->GetData(data);  
  67.     bp->Train();  
  68.    
  69.     while(1)  
  70.     {  
  71.         Vector<Type> in;  
  72.         for(int i = 0; i < 3; i++)  
  73.         {  
  74.             Type v;  
  75.             scanf("%lf", &v);  
  76.             in.push_back(v);  
  77.         }  
  78.         Vector<Type> ou;  
  79.         ou = bp->ForeCast(in);  
  80.         printf("%lf\n", ou[0]);  
  81.     }  
  82.     return 0;  
  83. }  
#include <iostream>
#include <string.h>
#include <stdio.h>
 
#include "BP.h"
 
using namespace std;
 
double sample[41][4]= 
{ 
    {0,0,0,0}, 
    {5,1,4,19.020}, 
    {5,3,3,14.150}, 
    {5,5,2,14.360}, 
    {5,3,3,14.150}, 
    {5,3,2,15.390}, 
    {5,3,2,15.390}, 
    {5,5,1,19.680}, 
    {5,1,2,21.060}, 
    {5,3,3,14.150}, 
    {5,5,4,12.680}, 
    {5,5,2,14.360}, 
    {5,1,3,19.610}, 
    {5,3,4,13.650}, 
    {5,5,5,12.430}, 
    {5,1,4,19.020}, 
    {5,1,4,19.020}, 
    {5,3,5,13.390}, 
    {5,5,4,12.680}, 
    {5,1,3,19.610}, 
    {5,3,2,15.390}, 
    {1,3,1,11.110}, 
    {1,5,2,6.521}, 
    {1,1,3,10.190}, 
    {1,3,4,6.043}, 
    {1,5,5,5.242}, 
    {1,5,3,5.724}, 
    {1,1,4,9.766}, 
    {1,3,5,5.870}, 
    {1,5,4,5.406}, 
    {1,1,3,10.190}, 
    {1,1,5,9.545}, 
    {1,3,4,6.043}, 
    {1,5,3,5.724}, 
    {1,1,2,11.250}, 
    {1,3,1,11.110}, 
    {1,3,3,6.380}, 
    {1,5,2,6.521}, 
    {1,1,1,16.000}, 
    {1,3,2,7.219}, 
    {1,5,3,5.724} 
}; 
 
int main()
{
    Vector<Data> data;
    for(int i = 0; i < 41; i++)
    {
        Data t;
        for(int j = 0; j < 3; j++)
            t.x.push_back(sample[i][j]);
        t.y.push_back(sample[i][3]);
        data.push_back(t);
    }
    BP *bp = new BP();
    bp->GetData(data);
    bp->Train();
 
    while(1)
    {
        Vector<Type> in;
        for(int i = 0; i < 3; i++)
        {
            Type v;
            scanf("%lf", &v);
            in.push_back(v);
        }
        Vector<Type> ou;
        ou = bp->ForeCast(in);
        printf("%lf\n", ou[0]);
    }
    return 0;
}

 

Makefile：

[cpp] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. Test : BP.h BP.cpp Test.cpp  
  2.     g++ BP.cpp Test.cpp -o Test  
  3.    
  4. clean:  
  5.     rm Test  
U侠学子_博约天下
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BP神经网络算法原理和详细推导流程
09-07
该文档详细介绍了BP 神经网络算法原理以及详细推导流程，简洁明了，容易看懂，非常适合BP神经网络的初学者学习。
BP神经网络（算法整体思路及原理+手写公式推导）
热门推荐
秃头小苏的博客
08-24 5万+
1. 简介2. 计算过程3. 权重偏置更新公式推导4. BP神经网络优劣势 1. 简介 BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。 BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。 2. 计算过程 首先，我们先来了解.
BP神经网络原理简单介绍以及公式推导（矩阵形式和分量形式）
记录学习的过程
05-13 2万+
BP神经网络简单介绍在60年代提出了神经网络概念之后，由于感知机等神经网络无法处理线性不可分问题（比如异或问题）导致人们对神经网络的兴趣大减，认为神经网络的能力有限，只能处理线性可分问题。之后，有人提出了多层神经网络的想法，用于解决异或问题。下面就是用一个两层的神经网络解决异或问题具体方法： y=ψ(−2v1+v2−0.5)v1=ψ(x1+x2−1.5)v2=ψ(x1+x2−0.5)ψ(x)={1
机器学习_BP神经网络——全网最全、最细公式推导
GetLxc的博客
02-02 1451
神经网络是一个非线性算法，非线性就体现在激活函数上。通俗解释一下，Y = x * a * b * c （abc是常数）我们总可以找到一个d = a * b *c 但是如果 Y = ln(10 * sin（cos（x））) 并且我们规定只有cosx>0.5时，再进行sin() sin(cos（x）)>0.1时再进行ln（）.就像生物的神经元，刺激达到一定的程度，再释放神经递质再传递给下一个神经元。 1. 神经网络能干什么？ 线性回归和逻辑回归虽然可以解决简单问题但是不他能解决复.
BP神经网络,bp神经网络预测模型,Python
09-10
包含BP神经网络的原理算法模型，并使用BP神经网络对数据进行分类
C++实现神经BP神经网络
12-17
本文实例为大家分享了C++实现神经BP神经网络的具体代码，供大家参考，具体内容如下 BP.h #pragma once #include #include #include #include #include using std::vector; using std::exp; using std::cout; using ...
BP神经网络算法推导
伤心兮的博客
09-29 1324
BP神经网络算法推导。包括前向传播和反向传播。
BP神经网络公式推导
CK__CSDN的博客
12-17 2129
一、m-p神经元模型： 神经网络是由许多个神经云所构成，而一个单独的神经元的结构如上图所示。若一个神经元有n个输入xxx，每一个输入都要配有一个权值www，神经元的总输入为: ∑i=1nwixi\sum_{i=1}^n w_ix_ii=1∑n​wi​xi​ 生物的神经元需要收到一定程度的刺激才可被激活，所以用θ\thetaθ表示神经元的阈值,当总输入高于此值，该神经元才可被激活。神经元的输出yyy取决于激发函数y=f(x)y=f(x)y=f(x),神经元总输入减去阈值得到的值: ∑i=1nwixi−θ\su
BP神经网络理解及公式推导
qq_50208667的博客
07-22 4566
BP神经网络理解及公式推导 __508任务 仅个人学习记录使用，可能有误 一、人工神经网络 人工神经网络（ANN）是一种旨在模仿人脑结构及其功能的由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息 。 神经网络是一种运算模型，由大量的节点(也可以说神经元)之间连接构成。每个节点代表一种特定的输出函数，称为激励函数或者激活函数。每两个节点间的连接都代表一个对于通过连接信号的加权值，称之为权重。这相当于人神经的记忆(就是仿生)，神经网络的输出则
神经网络是模型还是算法,神经网络模型数据处理
神经网络爱好者
08-05 967
6)计算W[S1][S0]，b[S1]；9))输出W1[S1][S0]，b1[S1]。2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)输入参数P对模式(xp，dp)，p=1，2，…三、总体算法1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；...
BP神经网络算法实现
PY洋洋
01-31 1763
一、实验数学原理 二、实验算法和实验步骤 三、结果分析 1. 均方误差变化的影响 2. 迭代次数变化的影响 3. 学习效率变化的影响 四、预测
图神经网络的实现,神经网络框架图
Supermen333的博客
08-10 1830
经过激活函数f（u）的作用得到隐含层1的输出信息：岩溶地区地下水与环境的特殊性研究经过激活函数f（u）的作用得到隐含层2的输出信息：岩溶地区地下水与环境的特殊性研究激活函数f（u）我们这里采用Sigmoid型，即f（u）=1/[1+exp（-u）]（6.5）隐含层的输出信息传到输出层，可得到最终输出结果为岩溶地区地下水与环境的特殊性研究以上过程为网络学习的信息正向传播过程。第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为岩溶地区地下水与环境的特殊性研究式中：xi为该节点的输入；...
深入浅出|深度学习算法之BP神经网络 详细公式推导
FENG_LIN的博客
08-26 2万+
BP(back propagation)神经网络一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。
神经网络的BP算法推导详解
知识搬运工的博客
04-01 4万+
一个神经网络程序包含以下几部分内容。 　　1.数据表达和特征提取。对于一个非深度学习神经网络，主要影响其模型准确度的因素就是数据表达和特征提取。同样的一组数据，在欧式空间和非欧空间，就会有着不同的分布。有时候换一种思考问题的思路就会使得问题变得简单。所以选择合适的数据表达可以极大的降低解决问题的难度。同样，在机器学习中，特征的提取也不是一种简单的事。在一些复杂问题上，要通过人工的方式设计有效的特...
BP神经网络的梯度公式推导(三层结构)
dbat
11-29 5393
老饼讲解-BP神经网络：BP神经网络的梯度公式推导(三层结构)，BP神经网络的训练算法基本都涉及到梯度公式，本文提供三层BP神经网络的梯度公式和推导过程
BP神经网络的数据分类
dingyahui的博客
05-31 2万+
BP神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，前向传播是输入数据经过隐层的作用逐渐处理直至输出，根据输出和期望误差反向调节各个神经元参数以及阈值，使得输出越来越接近期望值。如图所示输入经过隐层到输出层的一个简易过程。 当输入层m到输出层n可以看做是一个自变量是m到n因变量的一个函数，神经网络的优
bp神经网络pidcsdn
最新发布
12-23
bp神经网络（Back Propagation Neural Network）是一种常见的人工神经网络模型，具有多层结构，能够通过反向传播算法来不断调整网络参数，以实现对训练样本的拟合和分类。 PIDCSDN是一个技术交流社区网站，为广大...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值