1.2 前向反向传播，多层感知机，回归，分类

最新推荐文章于 2024-07-12 13:30:32 发布
最新推荐文章于 2024-07-12 13:30:32 发布
阅读量113 收藏
点赞数
分类专栏： 深度学习 文章标签： 回归 分类 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A_liwenqian/article/details/134424531
版权

前向传播和反向传播

输入层， 隐藏层， 输出层之间是怎样流动的

前向传播

在这里插入图片描述
神经网络运行跳层

Wh 权重， Hprev 前一层输出， Bh 偏置， h 本层输出
y 最后输出

损失函数

神经网络训练往往以随机参数开始， 初始输出结果不好， 训练过程中经常用损失函数衡量 预测结果和 真实结果的差距
在这里插入图片描述 第i个样本的真实结果

在这里插入图片描述 模型预测输出值

蓝色是预测值， 误差累加和求平均就是 均方误差。 损失可以评估网络性能， 希望通过训练使 MSE 尽可能小， 因此需要找到方法有效的不断更新 网络权重 和 偏置， 是损失函数不断减小， 就是反向传播算法 与梯度下降算法

在这里插入图片描述

反向传播(Back Propagation)

梯度 ： 偏导数

使用链式法则，从最后的损失函数开始，逐层往前计算各个神经元的 权重和偏置，这些模型参数的偏导数， 构成损失函数对权值的梯度作为进一步修改 模型参数的依据
在这里插入图片描述

反向传播原理

理解原理

Xj 所有链接的加权和
每个神经元和分 2部分， 前面是线性组合， 后面是激活函数

神经网络训练的目标是找到一组权重参数 w 能够确保任何一个输入向量 产生的输出向量 Yj 都能和想要的目标输出向量 完全一样或足够接近

在这里插入图片描述

最小化损失函数

在这里插入图片描述

在这里插入图片描述左边例子的网络预测输出

在这里插入图片描述样本类别的真实值
在这里插入图片描述 所有训练的样本在这里插入图片描述输出神经元的索引
E 总损失， 使E 最小的参数就是我们需要的， 求助最优化方法来求解， 通过求权重的偏导数， 逐步逼近求解

通过这种方式， 把机器学习问题转换成 最优化问题

链式法则

这部分不熟悉补充机器学习 或 数值计算 其中最优化部分的知识

接下来怎样去计算

一层层向后求导数

在这里插入图片描述
先求和

在这里插入图片描述

通过链式法则 把最后一层的误差 总损失 传递到倒数第二层， 反复重复这个步骤， 就能得到前面所有隐藏层的偏导数， 也能对前面各层的参数进行求偏导的计算 ， 有了偏导计算的公式后 根据梯度下降法更新 神经网络的参数

小结

![在这里插入图片描述](https://img-blog.csdnimg.cn/618440e1c6bc47bdae8119e9e82a0748.png ==600x)
前向传播传递的是数据， 信息

反向传播 传递的是 误差， 梯度， 偏导数， 用偏导数更新模型参数

多层感知机代码实现

PyTorch搭建神经网络

在这里插入图片描述

回归问题

一元线性回归


找到哪一条最好 最优化问题
点到线的距离
在这里插入图片描述

曼哈顿距离 绝对值
欧氏距离 平方和

民主投票

反向运算

找出 k,b 使结果最小，衡量了误差的大小

在这里插入图片描述

凸优化： 函数可导的概念

找到最优参数

多元线性回归

x 变成向量

在这里插入图片描述
横坐标 X 是高纬度的

X是矩阵， m 是样本的个数， n 特征维度
在这里插入图片描述
行乘列

机器学习

目标函数 最优化

多元线性回归的正规方程解

在这里插入图片描述

多项式回归

在这里插入图片描述

求所有样本点到这条线距离的和

先算出目标函数， 在通过最优化方法求使得它最小的参数， 最终得到一条线（模型）

小结

在这里插入图片描述

分类问题

分类任务的定义

  • 将输入数据集划分到一个或多个类别中的过程
  • 类别是事先确定的，并且类别标签是已知的
  • 输出是一个离散的类别标签，而不是连续的值

机器学习算法流程

在这里插入图片描述

多分类问题的数学表示

向量表示
缺点：类别数量大时， 特征维度数量特别高在这里插入图片描述

概率表示
在这里插入图片描述

softmax回归

多项式逻辑回归， 可以输出多个类别的概率

优点： 将输入特征向量转化为概率值

在这里插入图片描述

损失函数

在这里插入图片描述

对数损失函数

i 类别的编号

单调性， 结合性 多个数乘积转换为和的形式 ， 放缩性

在这里插入图片描述

交叉熵损失函数

m 样本数， n 所属不同类别的个数
在这里插入图片描述

小结

在这里插入图片描述

遨游天地间
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【1】深度神经网络的前向/反向传播算法
jho9o5的博客
05-06 1197
1.感知机 1.1 基本介绍         神经网络的发展，最早可以追溯到感知机模型，我们不妨理解为当前的神经网络模型，都是从感知机进化而来的，因此，在正式学习神经网络之前，认识一下它的“祖先”还是很有必要的。         &nbsp...
自定义逻辑回归：前向、反向传播算法
09-22
实现逻辑回归模型（Logistic类）： 前向传播forward 反向传播backward
【深度学习入门系列】 pytorch实现多层感知机（MLP）（内含分类、回归任务实例）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
04-24 8248
先明确了BP、BP神经网络、MLP的概念，讨论了三者的区别和联系。 之后用pytorch搭建多层感知机神经网络，这部分主要针对新手小白，以实战为主。内含2023年美赛春季赛Y题改变回归实例和一个反骗保欺诈分类实例。
深度学习（一）：DNN前向传播算法和反向传播算法
热门推荐
anshuai_aw1的博客
11-29 1万+
文章目录一、深度神经网络（DNN）模型1.1 从感知机到神经网络1.2 DNN的基本结构二、DNN前向传播算法2.1 DNN前向传播算法数学原理2.2 DNN前向传播算法2.3 DNN前向传播算法小结三、DNN反向传播算法3.1 DNN反向传播算法要解决的问题3.2 DNN反向传播算法的基本思路3. 3 DNN反向传播算法过程3.4 DNN反向传播算法小结参考文献 一、深度神经网络（DNN）模型 ...
动手学习深度学习 04：多层感知机
DLNovice的博客
09-25 2378
动手学习深度学习 04 ：多层感知机
【NLP】带有多层感知机的姓氏分类
qq_62434920的博客
06-30 646
我们所说的“层的输出”是什么意思?在多类设置中，将在本实验后面的“示例:带有多层感知器的姓氏分类”一节中看到，输出向量是类数量的大小。通过这种窗口特性，卷积神经网络能够在输入中学习局部化模式，这不仅使其成为计算机视觉的主轴，而且是检测单词和句子等序列数据中的子结构的理想候选。在本实验中，多层感知器和卷积神经网络被分组在一起，因为它们都是前馈神经网络，并且与另一类神经网络——递归神经网络(RNNs)形成对比，递归神经网络(RNNs)允许反馈(或循环)，这样每次计算都可以从之前的计算中获得信息。
使用多层感知机处理不同姓氏的国籍分类问题
qq_64274165的博客
06-30 993
前馈神经网络（Feedforward Neural Network, FFNN）是最简单的一种人工神经网络，也是深度学习中最基础的一种网络结构。它可以用来解决一些复杂分类问题，是好用且经典的神经网络。感知器是最基本的神经网络单元，类似于单个神经元。它接收多个输入，每个输入有一个权重值，通过加权和计算，经过一个激活函数，输出一个结果。感知器是二分类任务的基础单元，可以看作是一个简单的线性分类器。单层的感知器可以处理简单的分类任务。多层感知器（MLP）是前馈神经网络的一种，包含一个或多个隐藏层。
AI遮天传 DL-多层感知机
suic009的博客
07-25 1600
本文介绍多层感知机，会先按照历史顺序介绍多层感知机诞生前的一些模型，后面介绍具体实现与其算法。
三、多层感知机及模型优化
zhanghongbin159的博客
06-19 2162
前面我们讲解了单层的神经网络，这章我们将开始探索深度神经网络。在输入层与输出层之间的层被称为隐藏层，结构图如下： 其中有4个输入，3个输出，隐藏层有5个隐藏单元。主要由以下原因：学习非线性关系：隐藏层可以通过学习非线性一般性函数来学习数据的复杂关系。如果没有隐藏层，模型将只能学习到数据的线性关系。(通常要加激活函数)增强模型健壮性: 如果没有隐藏层，模型可能过于简单，容易出现过度拟合的情况。隐藏层的存在可以帮助模型更好地适应数据，也能提高模型的健壮性。提高精度: 隐藏层可以提高模型对输入特征的提取和抽象，
前馈神经网络（多层感知机）基础
qq_42757191的博客
05-23 2054
多层感知机基础
感知机，感知器，BP 神经网络，反向传播，多层感知器，多层感知机.zip
01-24
在给出的压缩包文件"MLP-Perceptron-and-Multi-layer-Perceptron-back-propagation-GUI-master"中，很可能包含了实现感知机、多层感知机以及反向传播算法的源代码，可能还包括一个图形用户界面（GUI），使得用户可以...
Matlab实现反向传播学习的多层感知器 (MLP) 神经网络算法
10-28
**Matlab实现反向传播学习的多层感知器(MLP)神经网络算法** 多层感知器（Multilayer Perceptron, MLP）是一种广泛应用的人工神经网络模型，尤其在模式识别、函数拟合和分类任务中表现出色。在Matlab环境中，我们...
神经网络的前向传播和反向传播推导
01-20
神经网络的前向传播和反向传播推导 x1x_{1}x1​和x2x_{2}x2​表示输入 wijw_{ij}wij​表示权重 bijb_{ij}bij​表示偏置 σi\sigma_{i}σi​表示激活函数，这里使用sigmoid激活函数 outoutout表示输出 yyy表示真实值...
Mul-Layer_多层感知机_perceptron_源码
10-02
多层感知机（Multilayer Perceptron, MLP）是一种人工神经网络，它在机器学习领域扮演着重要的角色，尤其在解决非线性问题时表现出强大的能力。本项目通过Python编程语言实现了一个简单的多层感知机模型，用于对特定...
AI算法13-岭回归算法Ridge Regression | RR
最新发布
yangguangjiujiu99的专栏
07-12 620
多重共线性（Multicollinearity）是指多变量线性回归中，变量之间由于存在精确相关关系或高度相关关系而使回归估计不准确。那么什么是精确相关关系与高度相关关系呢？假如有下面的（1）式，其中 w1 = 2、w2 = 3，同时如果又存在（2）式的关系，这时就说明 x1 与 x2 存在精确相关关系。当 x1 与 x2 之间存在近似精确相关关系，例如 x1 约等于 2 倍的 x2，则说明存在高度相关关系。
逻辑回归不是回归吗？那为什么叫回归？
qlkaicx的博客
07-09 1098
逻辑回归虽然名字中带有“回归”，但它主要用于分类任务。其名称来源于线性回归的数学基础和统计背景。通过使用逻辑函数（sigmoid函数），逻辑回归将线性组合的结果转换为概率值，从而实现分类任务。重点内容逻辑回归用于分类任务，而非回归任务。逻辑回归与线性回归在模型结构和参数估计上有相似之处。逻辑函数（sigmoid函数）是逻辑回归的核心，将线性组合转换为概率值。通过本文的详细解释，希望读者能更好地理解逻辑回归的基本原理、其名称的来源以及应用场景。这将有助于在实际项目中正确地选择和应用逻辑回归模型。
关于ppmlhdfe和possion两个命令回归显示观测值不同
weixin_44066226的博客
07-10 196
对于包含0的数据，但是又希望去估计弹性（平均弹性，而不是每一点的弹性。如果同时要点弹性+包含0的数据，是一个不可能三角，前述QJE已经证明了这一点），possion回归可能是一个比较好的替代方案。这里回到我们的问题。在使用函数“ppmlhdfe”的时候，大家可能发现回归的观测值相较于普通线性回归reghdfe，reg，甚至是possion这个函数，观测值都会少很多。经过一系列尝试，我们发现，主要问题还是样本里Y存在0值的原因（没有研究内部的代码结构，不知道底层的原因）。1. 删掉为0的样本。
57、基于概率神经网络(PNN)的分类(matlab)
XU157303764的博客
07-09 914
概率神经网络（PNN）是一种用于模式分类的人工神经网络。它基于贝叶斯定理和高斯混合模型，可以用于处理各种类型的数据，包括连续型数据和离散型数据。PNN在处理分类问题时比传统的神经网络更加灵活，具有更高的准确性和泛化能力。PNN的基本工作原理是将输入数据集分别与样本集中的每个样本计算相似度，并根据相似度来对输入数据进行分类。PNN由四层组成：输入层、模式层、竞争层和输出层。输入数据首先通过输入层传递到模式层，再通过竞争层计算相似度，最后根据相似度在输出层进行分类。
多层感知机前向传播、后向传播的原理
04-29
多层感知机（Multilayer Perceptron，简称MLP）是一种常见的人工神经网络模型，它由多个神经元层组成，每个神经元层之间都有连接权重。MLP的前向传播和后向传播是实现其训练和预测的关键步骤。 1. 前向传播...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值