1.1 神经网络原理+多层感知机

于 2023-11-15 17:01:54 发布
阅读量157 收藏
点赞数
分类专栏： 深度学习 文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A_liwenqian/article/details/134422192
版权

神经网络原理

神经元模型

就是一个线性模型， 在机器学习中广泛使用
在这里插入图片描述
w 斜率（连线权重） b 截距， n 输入个数 , f 激活函数
在这里插入图片描述
一般写成， 等价， 也称 ：感知器 Perceptron， 不同学科里面名称不同
在这里插入图片描述

神经网络结构

也称 多层感知机
Multi-Layer Perceptron (MLP)

在这里插入图片描述

激活层函数

作用： 线性变成非线性
, relu 目前常用， 激活函数必须能求导
在这里插入图片描述
隐藏层 + 激活层 （分来能简化学习步骤）， 不然还是线性
在这里插入图片描述

输出层

第一步以 e为底， 求所有指数的幂， 2 将所有指数幂求和， 用这个公式对输出进行运算 做归一化的处理
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
左侧：预测， 右侧：真实
需要将 softmax层的输出做一个量化， 来评价结果好坏

简单方法： 1-0.9=0.1

方法二： -log0.9 越接近一越准确
在这里插入图片描述
在这里插入图片描述
训练的目的是使损失尽可能减小，损失函数： 模型训练的目标， 神经网络学习的灵魂

  • 不同神经网络的差异主要体现在： 网络结构模型，损失函数， 动态求解损失函数过程不一样， 过拟合解决方式不同

反向传播

算出交叉熵损失函数后就要向后反向传播， 这个过程是优化调整参数， 自动做权重 w 和 截距 b 的优化

在这里插入图片描述

反向传播就是利用 梯度下降法 寻找最优参数，找到最快下降路径的过程

在这里插入图片描述

小结

在这里插入图片描述
sof tmax 把输出映射到 0-1 之间

多层感知机

  • 为什么要引入非线性？
  • 深度网络有什么好处？
  • 激活函数有哪些？

线性网络的局限

h1第一层 ， h2第二层
在这里插入图片描述

怎么引入非线性

f 非线性层， 提高神经网络表示能力。

非线性空间变换 可以将原始空间中的数据变换到新的高维空间中去
在这里插入图片描述

多层感知机(Multi-Layer Perceptron）

输入层接受数据， 隐藏层处理， 输出层输出

输入层是n 维向量 ， 隐藏层 m 个神经元 ， b 是偏置

在这里插入图片描述

多隐藏层

在这里插入图片描述

激活函数(Activation Function)

线性空间转换， 没有激活函数， 不管深度有多深依然是陷阱， 有了激活函数就可以对特征空间扭曲，翻转
在这里插入图片描述

Sigmoid函数

将输出值压缩到 0-1的范围内， 出了二分类， 现在较少使用
在这里插入图片描述
空间转换 映射投影
在这里插入图片描述

Tanh函数

循环神经网络RNN ，输入值较大的时候容易导致梯度消失
在这里插入图片描述
在这里插入图片描述

Relu函数

最大值函数， 导数为 01， 更加文档
缺点 负数值为0， 为了解决， 出现了改进版的 relu 函数

在这里插入图片描述

在这里插入图片描述

softmax函数

输入是一个向量， 输出也是一个向量， 每个输出值都是一个概率值， 累加和是1
在这里插入图片描述

小结

在这里插入图片描述

遨游天地间
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络输入数据要求,神经网络输入输出计算
goodutils的博客
10-19 6293
基本上，神经网络是由一层一层的不同的计算单位连接起来的。我们把计算单位称为神经元，这些网络可以把数据处理分类，就是我们要的输出。
深度学习（神经网络的表示及输出）
Darkness_01的博客
12-03 1248
首先拿以上这样一种神经网络模型来演示。
深度学习笔记（六）浅层神经网络的表示和向量化输出
Mr.zwX
12-18 665
一、浅层神经网络概览 其实简单来看，就是下图中的输入一组xxx，预测yyy的过程： 正向传播过程 计算线性函数zzz的值，从而计算激活函数值y^=a\widehat{y}=ay​=a，从而计算成本函数LLL，如图所示： 比如有一个两层网络的模型，其中一层隐含层。第一层用上标[1]表示，第二层用上标[2]表示。在每一层中重复上述计算过程，注意是把nnn层的预测值a[n]a^{[n]}a[n]代入到第n+1n+1n+1层中的线性函数计算式中，如下图所示。 反向传播过程即是从右到左计算出各个变量的导数值。
万字长文：深入理解各类型神经网络（简单神经网络，CNN，LSTM）的输入和输出
Delusional的博客
01-28 1万+
简单神经网络 当输入为标量 对于一个最简单的神经网络而言，它的一个神经元通常长这个样子： 假设我们有a1, a2, ... , an共n个输入，对于每个输入都给定一个权重w1, w2, ... , wn，再给定一个偏置b，将权重和输入相乘，加上偏置，就得到了一个神经元SUM，SUM的表达式为：SUM = w1 * x1 + w2 * x2 + ... + wn * xn + b，在这里由于各个项都是标量，得到的结果SUM也是一个标量。得到了SUM这个输出神经元后，我们通常会在后面加一个激活函数（上
深度/机器学习基础知识要点：RNN、LSTM、GRU
Zack的博客
02-28 1425
RNN(循环神经网络) RNN示意图 xxx是一个向量，它表示输入层的值；sss是一个向量，它表示隐藏层的值；UUU是输入层到隐藏层的权重矩阵；ooo也是一个向量，它表示输出层的值；VVV是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值sss不仅仅取决于当前这次的输入xxx，还取决于上一次隐藏层的值sss。权重矩阵WWW就是隐藏层上一次的值作为这一次的输入的权重。 输出值ot{o}_{t...
1.1卷积神经网络基础.docx
10-12
在这个层中，所有神经元都与前一层的所有神经元全连接，类似于传统的多层感知机（MLP）的隐藏层。 在处理彩色图像时，输入的RGB图像有3个通道，对应的卷积核也需要有3个通道，以匹配输入的维度。卷积核在每个通道上...
深度学习Tensorflow逻辑回归多层感知机深度神经网络搭建基础学习
最新发布
03-30
它分别包括使用Tensorflow1.1和Keras2.2搭建简单感知机、逻辑回归、多分类问题、多层感知器(MLP)、深度神经网络等的模型的代码和案例。 最后给出了使用Tensorflow搭建深度神经网络的通用模板。 适合Tensorflow深度...
matlab神经网络基础
03-24
1.1 神经网络的基本概念 1.1.1 生物神经元的结构与功能特点 1.1.2 人工神经元模型 1.1.3 神经网络的结构及工作方式 1.1.4 神经网络的学习 1.2 神经网络的特点及其应用 1.2.1 神经网络的特点 1.2.2 神经网络的应用...
关于神经网络控制的飞机导航系统应用分析.pdf
09-25
深度学习，作为机器学习的一个分支，通过构建多层神经网络（深度神经网络）来提升模型的表达能力。在飞机导航中，深度学习可以处理更复杂、多层次的输入信息，如高精度地图、雷达数据等，以实现更精确的预测和决策。...
深度学习入门（一）感知机.docx
12-13
随着网络层数的增加，多层感知机能够处理更复杂的非线性关系，这是现代深度学习模型能够解决各种实际问题的关键所在。对于初学者来说，理解和掌握感知机的工作原理是进一步探索深度学习的坚实基础。
人工神经网络算法教程.pdf
11-15
用平常语言介绍神经网络 (Neural Networks in Plain English) 因为我们没有很好了解大脑，我们经常试图用最新的技术作为一 种模型来解释它。在我童年的时候，我们都坚信大脑是一部电话 交换机。( 否则它还能是什么呢？) 我当时还看到英国著名神经学 家谢林顿把大脑的工作挺有趣地比作一部电报机。更早些时候， 弗罗伊德经常把大脑比作一部水力发电机，而莱布尼茨则把它比 作了一台磨粉机。我还听人说，古希腊人把大脑功能想象为一付 弹弓。显然，目前要来比喻大脑的话，那只可能是一台数字电子 计算机了。 －John R.Searle [注 注 1] 神经网络介绍（Introduction to Neural Networks ）
多层感知器(MLP)的输出层和隐藏层结构上是一样的吗?
m0_37566886的博客
05-23 225
输出层和隐藏层结构上是类似的，但不完全一样。它们都是由多个节点组成的，每个节点都有自己的输入值、权重、偏差和激活函数。不同的是，输出层的节点数量和激活函数需要根据问题的类型和目标来确定，而隐藏层的节点数量和激活函数可以根据实验效果来调整。另外，输出层的输出值是神经网络的预测结果，而隐藏层的输出值是作为下一层的输入值。
神经网络多层感知器原理解析
天道酬勤
07-07 2616
通过逐渐调整权重和偏置，多层感知器可以学习到输入数据的复杂模式，并用于分类、回归等任务。然而，多层感知器的性能和能力也受到网络的架构、隐藏层的数量和神经元的选择、激活函数的选择等因素的影响。因此，在设计多层感知器时，需要根据具体问题和数据集的特点进行调整和优化。输入层有100个神经元，第一个隐藏层和第二个隐藏层都有64个神经元，输出层有10个神经元，用于进行10类分类任务。请注意，这只是一个简单的示例，实际使用中可能需要根据具体问题和数据进行更复杂的模型设计和调整。然后，我们生成随机训练数据，并使用。
消除数据冗余的方法有哪些,处理冗余数据的方法
热门推荐
神器榜
10-18 1万+
数据冗余指数据之间的重复，也可以说是同一数据存储在不同数据文件中的现象。可以说增加数据的独立性和减少数据冗余为企业范围信息资源管理和大规模信息系统获得成功的前提条件。数据冗余会妨碍数据库中数据的完整性(integrality)，也会造成存贮空间的浪费。尽可能地降低数据冗余度，是数据库设计的主要目标之一。关系模式的规范化理沦(以下称NF理论)的主要思想之一就是最小冗余原则，即规范化的关系模式在某种意义上应该冗余度最小。
pytorch中实现循环神经网络的基本单元RNN、LSTM、GRU的输入、输出、参数详细理解
MIss-Y的博客
08-31 1万+
前言：这篇文章是对已经较为深入理解了RNN、LSTM、GRU的数学原理以及运算过程的人而言的，如果不理解它的基本思想和过程，可能理解起来不是很简单。 一、先从一个实例看起 这是官网上面的一个例子，本次以LSTM作为例子而言，实际上，GRU、LSTM、RNN的运算过程是很类似的。 import torch import torch.nn as nn lstm = nn.LSTM(10,...
深度学习笔记（02）：神经网络的输入和输出
qq_36346625的博客
11-27 1万+
logistics回归，逻辑回归问题。 图像在计算机中如何保存？要保存一张图像，要保存三个独立矩阵，对应三原色通道。如果输入图像大小是64×64大小的，那个矩阵的大小也是64×64的，而且是3个矩阵。 要把矩阵中的像素值放到一个特征向量x中，这个x就表示了这张图像。向量x的总维度就是64×64×3。 图片的特征向量x作为输入，预测输出的结果标签为y。 用一个单独的(x,y)作为一个单独的输入样本...
神经网络控制系统的应用,神经网络的输入输出
super67269的博客
09-02 1488
网络的训练过程与使用过程了两码事写作猫。比如BP应用在分类，网络的训练是指的给你一些样本，同时告诉你这些样本属于哪一类，然后代入网络训练，使得这个网络具备一定的分类能力，训练完成以后再拿一个未知类别的数据通过网络进行分类。这里的训练过程就是先伪随机生成权值，然后把样本输入进去算出每一层的输出，并最终算出来预测输出（输出层的输出），这是正向学习过程；最后通过某种训练算法（最基本的是感知器算法）使得代价（预测输出与实际输出的某范数）函数关于权重最小，这个就是反向传播过程。
神经网络运作机制
qq_16540387的博客
12-03 2618
摘要：本文将以多层神经网络为主线，详细介绍多层感知器和反向传播算法及其工作原理。一 神经元的组成和基本原理在神经网络中，神经元是计算的基本单元，也被称为节点或单元。它接受其他节点或外部的输入，在计算后产生输出。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(w)。该节点将一个函数f（定义如下）作用于输入的加权和，如下图所示 上述网络采用数值输入X1和X2、与输入相关联的权重
RNN、LSTM神经网络输入输出究竟是怎样的?
卡萨布兰卡
04-09 1万+
原本以为自己懂的，可是看着看着论文，就越来越不知道Recurrent NNs（这里不区分LSTM，GRU）的输入输出到底是怎么样的。所以，查阅多篇资料，整合如下，希望能帮到大家。 首先，用「动图」和「举例子」讲讲 RNN（里面的动图非常容易让大家理解每个timestep如何喂数据的） 其次，以一个操做实例来具体讲一下Recurrent NNs的工作流程： 答案来源于知乎作者Scofield s...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值