MLP

最新推荐文章于 2024-07-13 09:54:53 发布

qq_36212775

最新推荐文章于 2024-07-13 09:54:53 发布

阅读量1.3k

点赞数 2

分类专栏： mlp 文章标签： mlp

本文链接：https://blog.csdn.net/qq_36212775/article/details/84350754

版权

本文介绍了多层感知机(MLP)的基本概念，包括其作为非线性分割模型的优势。MLP通过在输入和输出层之间添加隐藏层来构建模型，每个层通过权重矩阵与前一层相连。训练过程旨在优化这些权重矩阵。接着，文章详细阐述了反向传播算法，定义了损失函数，并展示了如何通过梯度下降优化误差。激活函数及其导数在反向传播中的作用也被提及，最后讨论了灵敏度的概念及其在反向传播过程中的应用。

摘要由CSDN通过智能技术生成

深度学习（一）MLP（多层感知机）学习笔记

1、感知机
我们已经知道了感知机是一个对多输入进行映射到一个输出的模型，虽然用它可以构造出很多逻辑，但是其不能用于非线性的分割。因此通过加多其层数可以获得更好的参数模拟。
2、MLP
在这里插入图片描述
多层感知机的本质就是通过在输入层和输出层之间加入一层或多层隐层，并且对于输出可以是一个或是多个，这样建立起来一个模型，每一层和前一层通过一个系数矩阵连接。本质上训练这个模型就是优化各个系数矩阵从而获得模糊系统的函数，例如对于minst集合，我们可以这样建立一个系统，输入1张图片，输出10个相似度，依次对应0-9这十个数字。然后模型的训练目标是将其输出相似度最高的能用于代表手写的实际数字。
对于一个一般的感知机，我们可以建立如下的数学模型：
在这里插入图片描述
期中yl代表第l层的输出，ul代表第l层的输入，Wl就是第l-1层映射到第l层的系数矩阵，bl就是第l层对应的偏置。
建立好一层的前向传播的数学模型后，我们可以继续看反向传播的部分
3、反向传播
首先我们定义损失函数：
在这里插入图片描述