多层感知机理解

最新推荐文章于 2024-07-27 14:44:38 发布
最新推荐文章于 2024-07-27 14:44:38 发布
阅读量1.4k 收藏 13
点赞数 1
分类专栏： 神经网络 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41479678/article/details/116144757
版权

一.网络的原理和结构

多层感知器(Muti-Layer Percetron)和卷积网络(Convolutional Neural Network)。这两种网络都属于前馈型网络(Feedforward network)，其中多层感知器(MLP)是最简单也是最常见的一种神经网络结构，它是所有其他神经网络结构的基础，

好在我对神经网络的了解是从卷积神经网络开始的，对基本的原理和模型已经有了了解，所以学习起来相对容易，先看多层感知机的模型：
在这里插入图片描述
如何设计一个网络，输入代表像素的值，输出0-9之间的一个正确的数字
在这里插入图片描述
在这里插入图片描述
先把神经元当做数字
在这里插入图片描述
在这里插入图片描述
每个神经元里面是我们要提取的特征值，即像素的灰度值，0表示纯黑，1 表示纯白
在这里插入图片描述

这784个神经元组成了第一层，即神经网络的输入层

网络的最后一层是输出层，输出的是可能的概率，哪个概率最大，就代表识别的结果是哪个数字
在这里插入图片描述

网络的中间是隐藏层，包含这一些算法
在这里插入图片描述
比如网络的第三层，我们已经提取到局部的特征，只需要考虑将局部特征组合起来有多少 可能组成某一个数字
在这里插入图片描述

在这里插入图片描述
那再往前推，前面的一层网络就要能提取出更小的局部特征，把他们组合起来
在这里插入图片描述
通过权重值w，来提取我们关注的区域的值
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这个加权和，再通过激活函数映射到[0,1]的区间

在这里插入图片描述
而通过偏置值，控制加权和不过早的激发

在这里插入图片描述
将加权和减去一个数，不让不必要的神经元激活，
在这里插入图片描述
权重代表我们关注什么样的图案，而偏置值代表加权和有多大激活神经元才有意义

在网络的第二层，每一个神经元都和上一层的784个神经元保持全连接
在这里插入图片描述

每个神经元都带一个权重和偏置值
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
用向量表示
在这里插入图片描述
所以，网络中每一个神经元更像一个函数，接收输入，输出0-1的值
在这里插入图片描述

进而整个网络也可以看成一个函数，接收输入，输出一个结果
在这里插入图片描述

在这里插入图片描述

二.网络如何学习

在网络训练的时候，我们需要定义一个代价函数，来告诉网络与正确值的差距在这里插入图片描述
定义正确值1，其他为0，将网络输出的结果与实际结果相减，再将他们差的平方加起来，得到一个损失值
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

代价函数输出单个数值，来评价整个网络中的权重和偏置值与正确结果的差距
在这里插入图片描述
网络需要知道如何调整这些输入参数使输出接近正确的结果

以二维图像为例

随便 选一个输入值，然后考虑向左还是向右
在这里插入图片描述

计算斜率，斜率为正，表示函数是上升，那么我们梯度的反方向即向左

斜率为负，表示梯度是下降的，我们继续往右找到最低点
在这里插入图片描述

在每一点这样重复的计算斜率，直到找到局部最低点
在这里插入图片描述
在这里插入图片描述
在三维空间如何计算
在这里插入图片描述
同样也是计算梯度，沿梯度的反方向下降一小步

在这里插入图片描述

梯度如何计算：

梯度，就是封装了所有偏导的向量
在这里插入图片描述

在这里插入图片描述

这样我们就有了一个权重向量和一个反向梯度向量

在这里插入图片描述
将两个向量的对应的每一项相加，得到新的权重，再更新权重，如此循环
在这里插入图片描述
同时，代价值的绝对值表示每个w和B的重要程度
在这里插入图片描述
假如有一个函数的在点[1,1]的梯度向量是 [ 3 1 ] \begin{bmatrix} 3\\1\\ \end{bmatrix} [31​]
在这里插入图片描述
在这里插入图片描述
也可以理解为改变x对函数影响更大

在这里插入图片描述

这样来看，网络的代价函数是把权重和偏置作为输入

在这里插入图片描述

三.反向传播法

通过代价函数我们得到了误差值

然后需要把所有样本的误差值平均值

在这里插入图片描述

我们求出的负梯度，同时反映了代价函数值的重要程度，
在这里插入图片描述
比如样本2，网络输出的值与正确的值差距较大，如何增大这个输出呢

如何让这个结果变大

我们知道这个结果是上一层的输出+权重+偏置再通过激活函数得到的

那么有三个方法

*增大上一层的输出

*增加权重

*增加偏置值

在这里插入图片描述
如何增加权重

比较亮的神经元，对应的权重对结果影响相对更大，所以增加相对亮的神经元，训练的效率会更高
在这里插入图片描述
所以当反向传播的时候，不仅要看高边哪些权重，还要看改变那些权重性价比高
在这里插入图片描述
如何改变上一层的输出

和更改权重一样，如果我们需要结果更大的时候，依据权重的大小，对上一层的结果做出呈比例的改变
在这里插入图片描述
结果2期待上一层的值如何改变，比如增大

结果3期待上一层的值如何改变，比如减小

…

我们把这些期待全部加起来，作为如何改变上一层的值的指示

如此往复循环，达到训练的效果

这就是反向传播的理念
在这里插入图片描述

charlie_wang007
关注
专栏目录
Tensorflow实战（黄文坚）——多层感知机代码实现
Passersby__的博客
02-15 401
刚入门tensorflow,最近在看黄文坚的《Tensorflow实战》，看到“Tensorflow实现多层感知机”这节，就手动把代码实现了一下。 导入mnist数据集的时候，不知道为什么总是很慢很慢，一直运行不停，所以就把数据集下载到本地了。网上有人提供云盘链接，搜一下就好。 下面代码中 ‘./MNIST_data/’ 是我电脑中mnist的路径（下载的时候自己选择），最前面的 ‘.’ 表示当前...
从多层感知机理解RNN
qq_41775769的博客
12-03 336
多层感知机引入RNN   本节将介绍循环神经网络处理时序类型的数据，它并非刚性地记忆所有固定长度的序列，而是通过隐藏状态来存储之前的时间步信息。首先我们回顾一下多层感知机，然后描述如何添加隐藏状态了将它变成循环神经网络。 1.1 不含隐藏状态的神经网络 我们先考虑一个含单隐藏层的多层感知机。给定样本数为 nnn、输入个数(特征数或特征向量维度)为 ddd 的小批量数据样本 X∈Rn×dX \in R^{n \times d}X∈Rn×d 。 设隐藏层的激活函数为 ϕ\phiϕ，那么隐藏层的输出 H∈Rn×
多层感知机（MLP）
最新发布
glorious69的博客
07-27 1265
【代码】多层感知机（MLP）
多层感知机
m0_37548423的博客
02-15 469
多层感知机在单层神经⽹络的基础上引⼊了⼀到多个隐藏层（hidden layer）。隐藏层位于输⼊层和输 出层之间。下图展示了⼀个多层感知机的神经⽹络图，它含有⼀个隐藏层，该层中有5个隐藏单元。 图中所示的多层感知机中，输⼊和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元 （hidden unit）。由于输⼊层不涉及计算，图中的多层感知机的层数为2。隐藏层中 的神经元和输⼊层中各个输⼊...
从多层感知器到卷积网络（一）
热门推荐
CarlXie
06-01 2万+
写在最前面 本系列文章试图以直观的思维讲解神经网络的两个种类——多层感知器(Muti-Layer Percetron)和卷积网络(Convolutional Neural Network)。这两种网络都属于前馈型网络(Feedforward network)，其中多层感知器(MLP)是最简单也是最常见的一种神经网络结构，它是所有其他神经网络结构的基础，所以不出意外，在介绍卷积网络前，不得不提一提...
MATLAB实现MLP多层感知机时间序列预测（完整源码和数据）
10-21
标题中的“MATLAB实现MLP多层感知机时间序列预测”指的是使用MATLAB编程语言，通过多层感知机（Multilayer Perceptron, MLP）神经网络模型对时间序列数据进行预测的一种方法。多层感知机是一种前馈神经网络，具有...
全连接神经网络（多层感知机）PPT，可以直接开会讲
11-22
- Fashion_MNIST数据集常用于多层感知机的实践，它包含10个类别，可以帮助我们理解多层神经网络如何处理分类任务。 6. **常见损失函数**： - 对于回归问题，如房价预测，通常使用L2损失函数；对于分类问题，可能...
基于Weka和matlab平台的多层感知机模式识别实验.pdf
07-14
本实验的目的是让学习者掌握使用Weka平台构建多层感知机（MLP）模型的实践操作，并理解MLP在模式识别等多个领域中的应用。Weka是一个包含了机器学习算法的集合，用于数据挖掘任务，它能通过图形用户界面（GUI）或...
TensorFlow实现MLP多层感知机模型
09-20
在本文中，我们将探讨如何使用TensorFlow实现多层感知机（MLP）模型。多层感知机是一种深度学习模型，通常用于分类任务，特别是处理复杂的非线性关系。在TensorFlow中构建这样的模型，我们需要理解其基本原理、过...
感知机，感知器，BP 神经网络，反向传播，多层感知器，多层感知机.zip
01-24
在给出的压缩包文件"MLP-Perceptron-and-Multi-layer-Perceptron-back-propagation-GUI-master"中，很可能包含了实现感知机、多层感知机以及反向传播算法的源代码，可能还包括一个图形用户界面（GUI），使得用户可以...
利用多层感知机实现高分影像中的道路提取
ScapeD的博客
04-04 1710
1、数据与目的 实验数据: 分辨率为0.5m的高分遥感影像 实验目的：提取影响中的沥青路面道路 2、影像数据处理 前期数据处理在ENVI中实现。主要包括影像裁剪，道路矢量化，图像二值化。 2-1 数据裁剪 裁剪的目的：在图像中裁剪除两块有代表性的区域，分别作为机器学习的样本和测试数据。 裁剪效果： train data: test data: 2-2 裁剪区域目...
多层感知器的基本特征
既然选择了远方 便只顾风雨兼程 - 永强
04-22 3082
多层感知器的基本特征 Rosenblatt 感知器本质上是一个单层神经网络，这一网络局限于线性可分模式的分类问题。自适应滤波采用了 Widrow 和 Hoff 的 LMS 算法。这一算法也是基于权值可调的单个线性神经元，这也限制了这一算法的计算能力。为了克服感知器和 LMS 算法的实际局限，我们考虑所熟知的多层感知器这一神经网络结构。 下面的三点揭示了多层感知器的基本特征：1. 网络中每个神经元模型包含一个可微的非线性激活函数。 2. 网络中包括一个或多个隐藏在输人和输出神...
深度学习框架Tensorflow学习(五)-----多层感知器模型
00_00_07
11-23 2828
一、多层感知器多层感知器（MLP，Multilayer Perceptron）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。可以实现非线性判别式，如果用于回归，可以逼近输入的非线性函数。其实MLP可以用于“普适近似”，即可以证明： 具有连续输入和输出的任何函数都可以用MLP近似 ，已经证明，具有一个隐藏层（隐藏节点个数不限）的MLP可以学习输入的任意非线性函数。二、代码
理解多层感知机
幸福诗歌的博客
02-14 813
多层感知机的基本知识 深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。 隐藏层 下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。 表达公式 具体来说，给定一个小批量样本X∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \times d}X∈Rn×d，其...
多层感知机multiLayerPercetrons
admin11111111的博客
09-20 866
目录 1. 感知机： 2. 常用非线性的激活函数 ​3. 多层感知机——多隐藏层 4. 代码实践 1. 感知机： 感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。 线性模型在处理一些问题时好用，但是在处理XOR问题时就出现了问题。 因为线性模型无法将①④和②③同时分类，但是通过增加隐藏层来逐步分类，如上图黄线和蓝线，两个步骤就能分出来。所用感知机为单分类单隐藏层感知机。 隐藏层需要非线性的激活函数，不然本质的运算还是线性模型。 .
多层感知器
m0_68066449的博客
05-22 435
1.神经网络的种类： 误差反向传播（Back Propagation，BP）神经网络 概率神经网络 卷积神经网络（Convolutional Neural Network ，CNN－适用于图像识别） 时间递归神经网络（Long short－term Memory Network ，LSTM－适用于语音识别） 最简单且原汁原味的神经网络则是多层感知器（Muti－Layer Perception ，MLP） CAT AND DOG 2.MLP神经网络的结构和原理 神经网络主要包括两大内容:.
【实用机器学习】3.5 多层感知机
景风眠的博客
03-20 772
沐神实用机器学习网课笔记，详细说明MLP（多层感知机）。
机器学习基础-多层感知机
你好，今天的你
10-27 648
Neural Networks 对于一些传统机器学习模型，需要我们手动完成一些特征工程，从而让模型更清楚地学习到数据的信息。而对于神经网络而言，它就是把原来手工提取特征工程的过程变成了一个深度网络，从而不断地拟合原数据。 Tips: 神经网络往往对数据量有比较大的要求，因为神经网络并不会有先验知识，它需要通过学习大量的数据，伴随着梯度下降和模型收敛，这样才能获得一个较好的结果。 可以选择不同的架构来学习特征数据，常见有：MLP/CNN/RNN/Transformer等等。 Linear-Methods
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值