Machine Learning---Backpropagation

最新推荐文章于 2024-06-26 10:48:54 发布

心希盼

最新推荐文章于 2024-06-26 10:48:54 发布

阅读量1.6k

点赞数

分类专栏： Machine Learning 文章标签： backpropagation machine learning 人工智能

本文链接：https://blog.csdn.net/Stan1989/article/details/8698971

版权

Machine Learning 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Machine Learning---Backpropagation

引言

反向传播法(backpropagration)，是一个非常经典的监督学习方法。在前面已经介绍过LMS算法，所以对于这两种之间的公共部分不会再做详细介绍。

一、Backpropagation算法基本介绍

1.算法思想

反向传播算法是监督式学习最流行的方法。

它其中的算法思想就如它的名字一样。它顺序计算了输出值，然后反序将error（计算值和正确值的差值）往回传，进行计算模型中的权值调整。

应用于多层感知器学习算法中，可以解决一些较复杂的问题。

2.权值调整公式

和前面介绍的LMS算法一样，这个算法通过一些给定的训练数据进行权值调整。

其中权值调整公式：

其中表示第i个“输入端”的权值，是学习参数，t是正确值，Y是计算值，是第i个“输入端”的输入值。

我们这里选用这个处理函数是因为它的导数。

这个结果使得导数的计算简单化。

接下来部分是关于这个算法的一些说明：如果没有兴趣的读者可以直接跳过这一段：

首先我们定义一个差值的比方

其中t便是目标值（正确值），y便是计算值，这里去乘于1/2，主要为了之后求导之后的化简。

，这里n便是输入端的数量，便是第i个输入端的权值和输入值。

我们这里设。

按照梯度下降法

其中是一个学习参数，剩下的我们就要求

我们将右边三个分式进行计算：

所以带入公式便是

其实不难发现这个公式在进行一次转换便是上面所提到的

这里我们对这个算法的核心部分进行了简单的数学介绍。关于其中提到的梯度下降算法的知识，笔者已经写过一篇《Machine Learning---LMS 算法数学说明》进行了介绍。

3.算法流程

对于这个算法的流程也是比较好理解：

1.首先给权值覆上随机初值；

2.在训练集中随机选择训练组；

3.按照当前计算模型进行计算输出值；

4.将error反向传播，逐步调整计算模型中的权值；

5.判断MSE是否满足条件，如果不满足继续步骤2;如果满足就跳出算法。

二、算法实现

在这里提供这个算法的实现代码：

struct TrainningSet
{
    double inputs[NUM_INPUTS];
    double outputs[NUM_OUTPUTS];
}TrainningSet;
 
TrainningSet tests[NUM_TESTS];
 
double sigmoid(double val)
{
     return ( 1.0 /(1.0 + exp(-val)) );
}
double sigmoid_d(double val)
{
    return val*(1.0 - val);
}
//
void calculate_output()
{
    for (int i = 0 ; i< NUM_HIDDENS; ++i)
    {
        hiddens[i]= 0.0;
        for(int j = 0 ; j< NUM_HIDDENS ; ++j)
        {
            hiddens[i]+= inputs[j] * w_h_i[i][j];
        }
        hiddens[i]= sigmoid(hiddens[i]);
    }
 
    for (int i = 0 ; i< NUM_OUTPUTS ; ++i)
    {
        outputs[i]= 0.0;
        for(int j = 0 ; j< NUM_HIDDENS ; ++j)
        {
            outputs[i]+= hiddens[j] * w_o_h[i][j];
        }
        outputs[i]= sigmoid(outputs[i]);
    }
}
 
void backpropagate_error(int test)
{
    for (int i = 0 ; i< NUM_OUTPUTS ; ++i)
    {
        for (int j = 0 ; j< NUM_HIDDENS ; ++j)
        {
            w_o_h[i][j]= w_o_h[i][j] -ALPHA * (tests[test].outputs[i] - outputs[i]) *sigmoid_d(outputs[i]) * hiddens[j];
        }
    }
    //
    for (int i = 0 ; i< NUM_HIDDENS ; ++i)
    {
        for (int j = 0 ; j< NUM_INPUTS ; ++j)
        {
            w_h_i[i][j]= w_h_i[i][j] -ALPHA * (tests[test].hiddens[i] - hiddens[i]) *sigmoid_d(hiddens[i]) * inputs[j];
        }
    }
}