MLP(多层神经网络)介绍

最新推荐文章于 2024-06-30 17:00:31 发布
最新推荐文章于 2024-06-30 17:00:31 发布
阅读量7.4k 收藏 5
点赞数 3
分类专栏： 机器学习和深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jim_cainiaoxiaolang/article/details/72802258
版权

写在前面的

       接触神经网络(ANN)的时间很长了，以前也只是学了学原理，做过一个BPN的练习，没有系统的总结过，最近看Torch的源码，对MLP有了更多的了解，写写自己学到的东西吧，算是做了一次总结！

ANN的特点

(1) 高度的并行性

人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元的功能简单，但大量简单单元的并行活动，使其对信息的处理能力与效果惊人。

(2) 高度的非线性全局作用

神经网络系统是由大量简单神经元构成的，每个神经元接受大量其他神经元的输入，通过非线性输入、输出关系，产生输出影响其它神经元。网络就是这样互相制约相互影响，实现从输入状态空间到输出状态空间非线性映射的。网络的演化遵从全局性作用原则，从输入状态演化到终态而输出。从全局观点来看，网络整体性能不是网络局部性能的简单迭加，而表现某种集体性行为；而电脑遵从串行式局域性操作原则，每一步计算与上一步计算紧密相关，并对下一步产生影响，问题是通过算法逐步进行处理的。

(3) 良好的容错性与联想记忆功能

人工神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的信息是存储在神经元之间的权值中。从单个权值中看不出所储存的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、缺损模式复原等模式信息处理工作。

十分强的自适应、自学习功能人工神经网络可以通过训练和学习来获得网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。

ANN分类

 

BPN(Back Propagation Net)

 在这里我介绍一下反向传播网络BPN---带动量项的误差反传。反向传播神经网络是对非线性可微分函数进行权值训练的多层网络，是前向神经网络的一种。BP网络主要用于：

1)函数逼近与预测分析：用输入矢量和相应的输出矢量训练一个网络，逼近一个函数或预测未知信息；

2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来；

3)分类：把输入矢量以所定义的合适方式进行分类；

4)数据压缩：减少输出矢量维数以便于传输与存储。

比如，一个三层BPN结构如下：

由输入层、隐含层和输出层三层组成。其中每一层的单元与与之相邻层的所有单元连接，同一层的单元之间没有连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际误差的方向，从输出层经过各中间层逐层修正各连接权值，最后回到输入层。

 

 

感知器(Perception)类型

linear----线性感知器

tanh----双曲正切函数

sigmoid----双曲函数

softmax----1/(e(net) * e(wi*xi- shift))

log-softmax---- log(1/(e(net) * e(wi*xi)))

exp----指数函数

softplus----log(1+ e(wi*xi))

梯度下降

Delta学习方法

增量梯度下降

MLP的缺陷

1.网络的隐含节点个数选取问题至今仍是一个 世界难题（Google, Elsevier, CNKI）；

2.停止阈值、学习率、动量常数需要采用”trial-and-error”法，极其耗时（动手实验）；

3.学习速度慢；

4.容易陷入局部极值，学习不够充分。

应用举例

举一个例子，是用BPN实现下面的问题，编程语言使用的是C#。

写在前面的

       接触神经网络(ANN)的时间很长了，以前也只是学了学原理，做过一个BPN的练习，没有系统的总结过，最近看Torch的源码，对MLP有了更多的了解，写写自己学到的东西吧，算是做了一次总结！

ANN的特点

(1) 高度的并行性

人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元的功能简单，但大量简单单元的并行活动，使其对信息的处理能力与效果惊人。

(2) 高度的非线性全局作用

神经网络系统是由大量简单神经元构成的，每个神经元接受大量其他神经元的输入，通过非线性输入、输出关系，产生输出影响其它神经元。网络就是这样互相制约相互影响，实现从输入状态空间到输出状态空间非线性映射的。网络的演化遵从全局性作用原则，从输入状态演化到终态而输出。从全局观点来看，网络整体性能不是网络局部性能的简单迭加，而表现某种集体性行为；而电脑遵从串行式局域性操作原则，每一步计算与上一步计算紧密相关，并对下一步产生影响，问题是通过算法逐步进行处理的。

(3) 良好的容错性与联想记忆功能

人工神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的信息是存储在神经元之间的权值中。从单个权值中看不出所储存的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、缺损模式复原等模式信息处理工作。

十分强的自适应、自学习功能人工神经网络可以通过训练和学习来获得网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。

ANN分类

 

BPN(Back Propagation Net)

 在这里我介绍一下反向传播网络BPN---带动量项的误差反传。反向传播神经网络是对非线性可微分函数进行权值训练的多层网络，是前向神经网络的一种。BP网络主要用于：

1)函数逼近与预测分析：用输入矢量和相应的输出矢量训练一个网络，逼近一个函数或预测未知信息；

2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来；

3)分类：把输入矢量以所定义的合适方式进行分类；

4)数据压缩：减少输出矢量维数以便于传输与存储。

比如，一个三层BPN结构如下：

由输入层、隐含层和输出层三层组成。其中每一层的单元与与之相邻层的所有单元连接，同一层的单元之间没有连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际误差的方向，从输出层经过各中间层逐层修正各连接权值，最后回到输入层。

 

 

感知器(Perception)类型

linear----线性感知器

tanh----双曲正切函数

sigmoid----双曲函数

softmax----1/(e(net) * e(wi*xi- shift))

log-softmax---- log(1/(e(net) * e(wi*xi)))

exp----指数函数

softplus----log(1+ e(wi*xi))

梯度下降

Delta学习方法

增量梯度下降

MLP的缺陷

1.网络的隐含节点个数选取问题至今仍是一个 世界难题（Google, Elsevier, CNKI）；

2.停止阈值、学习率、动量常数需要采用”trial-and-error”法，极其耗时（动手实验）；

3.学习速度慢；

4.容易陷入局部极值，学习不够充分。

应用举例

举一个例子，是用BPN实现下面的问题，编程语言使用的是C#。

static void Main(string[] args)
        {
            int row = 2;//训练样例的数目
            int n_in = 2;//输入值的个数
            int n_out = 1;//输出值的个数
            int n_hidden = 1;//隐含层单元个个数

            double eta = 0.3;//学习速率
            double alfa = 0.9;//动量项
            int [,] t_ex = new int[row,n_in + n_out];//训练样例
            
            //赋初值 训练样例
            t_ex[0, 0] = 1;
            t_ex[0, 1] = 0;
            t_ex[0, 2] = 1;
            t_ex[1, 0] = 0;
            t_ex[1, 1] = 1;
            t_ex[1, 2] = 0;

            double[] Delta_Out = new double[n_out];//输出单元误差
            double[] Delta_Hidden = new double[n_hidden];//隐藏单元误差

            double[] O_Out = new double[n_out];//输出单元的输出
            double[] O_Hidden = new double[n_hidden];//隐含单元的输出

            double[,] W_Out = new double[n_out,n_hidden + 1];//输出单元的权值
            double[,] W_Hidden = new double[n_hidden,n_in + 1];//隐含单元的权值

            double[,] Delta_W_Out = new double[n_out,n_hidden + 1];//输出单元的权值差
            double[,] Delta_W_Hidden = new double[n_hidden,n_in + 1];//隐含单元的权值差
            //初始化所有网络权值为0.1
            for (int i = 0; i < n_out;i++ )
            {
                for (int j = 0;j < n_hidden + 1;j++)
                {
                    W_Out[i,j] = 0.1;
                    Delta_W_Out[i,j] = 0;
                }
            }
            for (int i = 0; i < n_hidden; i++)
            {
                for (int j = 0; j < n_in + 1;j++ )
                {
                    W_Hidden[i,j] = 0.1;
                    Delta_W_Hidden[i,j] = 0;
                }
            }
            //迭代进行训练
            bool over = true;
            int itera_time = 0;//迭代次数

            while (over)
            {
                //进行训练
                for (int i = 0; i < row;i++ )
                {
                    //计算隐含层单元的输出
                    double net = 0;
                    for (int j = 0; j < n_hidden; j++)
                    {
                        net = W_Hidden[j, 0];
                        //计算输出值
                        for (int r = 1; r < n_in + 1; r++)
                        {
                            net += W_Hidden[j, r] * t_ex[i, r - 1];
                        }
                        O_Hidden[j] = 1.0 / (1 + Math.Exp(-net));
                    }
                    //计算输出层单元的输出
                    for (int j = 0; j < n_out;j++ )
                    {
                        net = W_Out[j,0];
                        for (int r = 1; r < n_hidden + 1;r++ )
                        {
                            net += W_Out[j,r] * O_Hidden[r - 1];
                        }
                        O_Out[j] = 1.0 / (1 + Math.Exp(-net));
                    }
                    //计算输出层单元的误差项
                    for (int j = 0; j < n_out;j++ )
                    {
                        Delta_Out[j] = O_Out[j] * (1 - O_Out[j]) * (t_ex[i,n_in + j] - O_Out[j]);
                    }
                    //计算隐含层单元的误差项
                    for (int j = 0;j < n_hidden;j++)
                    {
                        double sum_weight = 0;
                        for (int k = 0;k < n_out;k++)
                        {
                            for (int h = 0;h < n_hidden + 1;h++)
                            {
                                sum_weight += Delta_Out[k] * W_Out[k,h];
                            }
                        }
                        Delta_Hidden[j] = O_Hidden[j] * (1 - O_Hidden[j]) * sum_weight;
                    }
                    //更新每个网络单元的权值
                    //更新输出层的权值
                    for (int j = 0;j < n_out;j++)
                    {
                        Delta_W_Out[j, 0] = eta * Delta_Out[j] + alfa * Delta_W_Out[j, 0];
                        W_Out[j, 0] = W_Out[j, 0] + Delta_W_Out[j, 0];
                         
                        for (int k = 1; k < n_hidden + 1;k++ )
                        {
                            Delta_W_Out[j, k] = eta * Delta_Out[j] * O_Hidden[k - 1] + alfa * Delta_W_Out[j, k];
                            W_Out[j, k] = W_Out[j, k] + Delta_W_Out[j, k];        
                        }
                    }
                    //更新隐含层的权值
                    for (int j = 0; j < n_hidden; j++)
                    {
                        Delta_W_Hidden[j, 0] = eta * Delta_Hidden[j] + alfa * Delta_W_Hidden[j, 0];
                        W_Hidden[j, 0] = W_Hidden[j, 0] + Delta_W_Hidden[j, 0];
                        for (int k = 1; k < n_in + 1;k++ )
                        {
                            Delta_W_Hidden[j, k] = eta * Delta_Hidden[j] * t_ex[i, k - 1] + alfa * Delta_W_Hidden[j, k];
                            W_Hidden[j, k] = W_Hidden[j, k] + Delta_W_Hidden[j, k];                  
                        }
                    }
                }

                //训练1000次结束循环
                itera_time++;
                if (itera_time == 1000)over = false;
            }

            //输出训练后的权值
            Console.WriteLine("输出层权值：");
            for (int i = 0; i < n_out; i++)
            {
                for (int j = 0; j < n_hidden + 1;j++ )
                {
                    Console.WriteLine(W_Out[i,j]);
                }
            }
            Console.WriteLine("隐含层权值：");
            for (int i = 0; i < n_hidden; i++)
            {
                for (int j = 0; j < n_in + 1;j++ )
                {
                    Console.WriteLine(W_Hidden[i,j]);
                }    
            }
         }
    }


jim_cainiaoxiaolang
关注
专栏目录
多层神经网络
Amy_mm的博客
04-25 1万+
《python machine learning 》chapter 12 Implementing a Multilayer Artificial Neural Network from Scratch【主要内容】（1）总体理解多层神经网络（2）从头开始实施神经网络训练的基本反向传播算法（3）训练基本的神经网络用语图像分类【单层神经网络概要】ADAptive LInear NEuron (Adal...
MLP算法的介绍
sinat_31608641的博客
03-15 4379
多层感知机：MLP分类器会有一个好的识别率且分类速度更快。但是其训练没有SVM分类快，尤其对于巨大量的训练集。TensorFlow - 什么是感知器（Perceptron）_西西弗Sisyphus的博客-CSDN博客神经网络1：多层感知器-MLP - 知乎。
多层感知器（MLP）
最新发布
m0_51200050的博客
06-30 950
多层感知器（MLP）是一种前馈神经网络，通过多层线性变换和非线性激活函数，能够建模复杂的非线性关系。MLP 在各种任务中广泛应用，如分类、回归和序列预测等。通过前向传播、损失计算和反向传播的步骤，MLP 能够逐步调整参数，优化模型性能。具体数据示例帮助理解 MLP 的工作原理和实现过程。
MLP(多层神经网络)与人工神经网络
木东的博客
02-09 8712
ANN的特点 (1) 高度的并行性 人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元的功能简单，但大量简单单元的并行活动，使其对信息的处理能力与效果惊人。 (2) 高度的非线性全局作用 神经网络系统是由大量简单神经元构成的，每个神经元接受大量其他神经元的输入，通过非线性输入、输出关系，产生输出影响其它神经元。网络就是这样互相制约相互影响，实现从输入状态空间到输出状态空间非线
MLP(多層神經網絡)介紹
I am Rocky
07-29 5329
http://blog.csdn.net/cxf7394373/article/details/6061372 寫在前面的        接觸神經網絡(ANN)的時間很長了，以前也只是學了學原理，做過一個BPN的練習，沒有系統的總結過，最近看Torch的源碼，對MLP有了更多的了解，寫寫自己學到的東西吧，算是做了一次總結！ ANN的特點 高度的並行性 人工神經網絡是由許多
MLP（多层感知器）神经网络
liuyukuan的专栏
06-08 3万+
由前面介绍看到，单个感知器能够完成线性可分数据的分类问题，是一种最简单的可以“学习”的机器。但他无法解决非线性问题。比如下图中的XOR问题：即（1,1）（-1,-1）属于同一类，而（1,-1）（-1,1）属于第二类的问题，不能由单个感知器正确分类。 即在Minsky和Papert的专著《感知器》所分析的：感知器只能解决所谓一阶谓词逻辑问题：与（AND），或（OR）等，而不能解决异
Matlab实现反向传播学习的多层感知器 (MLP) 神经网络算法
10-28
在Matlab环境中，我们可以利用其强大的数学计算能力和丰富的神经网络工具箱来实现反向传播（Backpropagation）学习算法，这是一种训练多层神经网络的常用方法。 首先，理解反向传播学习的基本原理是至关重要的。...
两层多层感知器 (MLP) 神经网络的矩阵实现：两层多层感知器 (MLP) 神经网络的矩阵实现。-matlab开发
05-30
两层多层感知器（MLP）神经网络是一种在机器学习领域广泛应用的前馈神经网络。它由输入层、一个或多个隐藏层和一个输出层组成，其中每一层都包含若干个神经元。在这个矩阵实现中，我们主要关注的是如何在MATLAB环境...
MLP神经网络模型_freehqn_MLP_mlp模型_解析表达式_MLP神经网络_
10-03
**多层感知器（MLP）神经网络模型详解** 多层感知器（Multilayer Perceptron，简称MLP）是一种前馈型的人工神经网络，是深度学习中最为基础且广泛应用的模型之一。MLP由输入层、一个或多个隐藏层以及一个输出层构成...
BP_final.rar_MLP matlab_MLP-BP_MLP多层感知器_多层bp_网络感知
07-14
多层感知器（Multilayer Perceptron, MLP）是一种基于人工神经网络的前馈网络，它具有至少一个隐藏层，并且允许非线性变换。MLP网络在解决复杂的非线性问题时表现出强大的能力，尤其在模式识别、数据分类和回归分析...
MLP 学习：3 个文件，允许初始化学习（具有强大的标准）和修剪多层神经网络-matlab开发
05-30
MATLAB提供了方便的工具箱，如Neural Network Toolbox，用于构建、训练和评估多层神经网络。通过这些工具，用户可以轻松创建MLP模型，设置初始化策略，以及应用修剪技术。文件中的代码可能涉及以下步骤： 1. **定义...
神经网络简介-多层神经网络
w326639619的专栏
11-05 1432
上一节介绍了神经元及相关内容，本节我们看一下神经网络 如上图所示，该神经网络有三层。我们标记第一层（也就是输入层）为a(1)a^{(1)}，第一层与第二层连接权重为w(1)w^{(1)}，然后第一层输入与第一层权重的线性和为z(1)z^{(1)}，第一层神经元个数为n(1)n^{(1)}，并依次标记剩余网络层。 可以看出，存在 z(l)j=∑i=1n(l)a(l)i⋅w(l)i,j=a(l)⊤
mlp神经网络_?深度科普：神经网络的类型及其作用
weixin_39941262的博客
11-21 1377
全文共3046字，预计学习时长9分钟图源：百家号机器学习是人工智能领域的一个分支，它结合了神经网络来创建一些人们日常使用的优秀软件。如果你使用百度查找的相关资料，则使用了百度的神经网络，该神经网络会根据给出的关键词对相关度最高的网页进行排名。如果你最近要买东西访问过淘宝官网，那么该网站推荐的所有产品都是由神经网络管理的。即便是现在，当使用手机时，也可能会遇到一种便利生活的神经网络。神经网络无所不在...
MLP is Maybe Your Need
zenRRan的博客
05-14 142
点击下面卡片，关注我呀，每天给你送来AI技术干货！© 作者｜周远航机构｜中国人民大学硕士一年级研究方向 |推荐系统1. 引语最近，transformer 结构的模型在 ImageNet-...
从MLP到神经网络
mpk_no1的博客
03-15 2万+
先看一下来自维基百科的介绍： 多层感知器（Multilayer Perceptron,缩写MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。MLP是感知器的推广，克服了感知
神经网络基础-多层感知器(MLP)
热门推荐
weixin_38206214的博客
07-21 9万+
在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。 本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课，推荐  本文默认你已经大致了解深度学习的简单概念，如果需要更简单的例子，可以参考吴恩达老师的入门课程： http://study.163.com/courses-search?keyword=%E5%90%B4%E6...
MLP （多层感知器）
FJY_sunshine的博客
09-17 4496
MLP（Multi-Layer Perceptron），即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。MLP是感知器的推广，克服了感知器无法实现对线性不可分数据识别的缺点...
opencv用mlp多层神经网络做颜色识别
02-03
然后，我们可以使用opencv提供的MLP神经网络模块来构建并训练一个多层神经网络模型，让它学习如何根据输入的颜色特征来预测对应的颜色标签。 在训练好模型后，我们可以将其应用到实际的颜色识别任务中。当我们输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值