[人工智能-深度学习-6]：神经网络基础 - 人工神经元数学模型、激活函数

最新推荐文章于 2025-03-23 19:27:56 发布
最新推荐文章于 2025-03-23 19:27:56 发布
阅读量4.4k 收藏 30
点赞数 4
分类专栏： 人工智能-深度学习 文章标签： 人工智能 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HiWangWenBing/article/details/120169493
版权

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

 本文网址：[人工智能-深度学习-5]：人工神经元数学模型、激活函数、人工神经网络_文火冰糖（王文兵）的博客-CSDN博客

目录

第1章 前序知识准备

第2章 人工神经元的数学模型

2.1 概述

2.2 神经元的基本功能

2.3 人工神经元的数学模型的提出

2.5 人工神经元的本质

2.6 神经元的简化模型（不带激活函数）

2.7 人工神经元的种类与应用场合

第3章 激活函数的种类

3.1 Sigmoid函数

3.2 tanh函数函数

3.3 Relu函数

3.4 ELU (Exponential Linear Units) 函数

3.5 激活函数的本质

第4章 感知机/器：Perceptron

第1章 前序知识准备

[人工智能-深度学习-4]：生物神经系统与神经元细胞简介

[人工智能-深度学习-4]：生物神经系统与神经元细胞简介_文火冰糖（王文兵）的博客-CSDN博客

第2章 人工神经元的数学模型

2.1 概述

人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程，反映人脑某些特性的一种计算结构。

它不是人脑神经系统的真实描写，而只是它的某种抽象、简化和模拟。

在人工神经网络中，人工记忆神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。
人工记忆神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图予以表达。

单个人工神经元具有一定的、简单的学习功能，并能够进行简单的信息处理。

而由神经元构建的神经网络具有大规模的、复杂的学习功能，并能够进行复杂的信息处理。

2.2 神经元的基本功能

神经元和神经网络的两个基本功能：

（1）学习能力 =》 机器学习 =》 深度学习

（2）信息处理能力 =》 后向传播 =》 预测能力，两大基本预测能力包括：

  • 回归拟合
  • 统计分类

2.3 神经网络的复杂功能包括：

（1）视觉图像处理

（2）听觉音频处理

（3）自然语言处理

（4）语言思维处理

（5）知识图谱

.......

上述的能力基本上都在试图模拟人类大脑的功能，工程上，在某些方面的实际效果甚至已经超过了人类。

2.3 人工神经元的数学模型的提出

2.4 人工神经元数学模型的数学函数表达式

（1）每一路输入的数学模型

u_{i}(x_{i}) = w_{i} * x_{i}

这是一个一元一次线性函数。

该模型模拟的是生物神经元的来自每一路树突的生物电信号的输入。

（2）所有路输入的数学模型：

 p(x_{1},x_{2},...x_{n}) = \sum_{1}^{n}u_{i}(x_{i}) = \sum_{1}^{n}(w_{i} * x_{i})

这是一个N元的一次线性函数。

该模型模拟的是生物神经元的细胞体，它把所有输入的生物电信号进行叠加和整合。

（3）带偏置电平的所有输入的数学模型： 

 v(x_{1},x_{2},...x_{n}) = p(x_{1},x_{2},...x_{n}) + b = \sum_{1}^{n}u_{i}(x_{i}) + b = \sum_{1}^{n}(w_{i} * x_{i}) + b

这是一个带偏置b的N元的一次线性函数。

该模型模拟的是生物神经元细胞内部的生物电的电位相对于神经元外部的电位差。

（4）对输出进行抑制的输出模型：激活函数

生物神经元对输入的生物电信号有几个重要的特性，这个特性不是线性函数能模拟的。

  • 无论来自树突的输入信号的叠加后的幅度有多大，输出信号的幅度是有限的，不是无限大，也就是说，输出与所有输入之间并非线性的。
  • 并非有任何的输入信号，都会导致输出，所有输入信号的幅度，必须得到某个阈值门限，才会有输入信号。

因此，除了对输入信号进行叠加外，还需要一个称为激活函数的函数。其作用如下

  • 限制输出

神经元的一次函数，输入与输出是线性关系，因此输出是无穷大。

为了限制神经元的输出信号的幅度，需要通过某种激活函数对输出信号进行限制。

  • 提高门槛

神经元的一次函数，输入与输出是线性关系，因此输出是任意值。

生物神经元只有在输入信号得到一定的门限时，才会有输出。

为了模拟生物神经元的门槛功能，需要通过某种激活函数来对输出信号的最低值进行限制。

在深度学习领域，激活函数不是唯一的，有多种不同的激活函数来模拟生物体神经元上述的特性，这里姑且定位：y(v) = \varnothing (v)
 

（5）神经元整体的数学模型

y(v) = \varnothing (v)

v(x_{1},x_{2},...x_{n}) = \sum_{1}^{n}u_{i}(x_{i}) + b = \sum_{1}^{n}(w_{i} * x_{i}) + b

y(x_{1}, x_{2}....x_{n}) = \varnothing (\sum_{1}^{n}(w_{i} * x_{i}) + b)

2.5 人工神经元的本质

人工神经元的本质是：N元的1次函数与激活函数构建的复合函数。

2.6 神经元的简化模型（不带激活函数）

（1）一元一次函数

  • 只有一个输入参数
  • 没有激活函数

y(x) = w*x + b

最简单的神经元，就是一个一元一次函数，具有天然的一元一次函数线性拟合的能力。

在之前的文章中，已经多次探讨过一元一次函数的线性拟合问题。

其几何意义就是一根直线。

（2）多元一次函数

  • 有N一个输入参数
  • 没有激活函数

y(x_{1},x_{2},...x_{n}) = \sum_{1}^{n}u_{i}(x_{i}) + b = \sum_{1}^{n}(w_{i} * x_{i}) + b = \sum_{1}^{n}(w_{i} * x_{i} + b_{i})

这是一个n个无关的一元一次函数的线性叠加。

其几何意义如下：

2.7 人工神经元输入信号处理的矩阵表达式

 在上图中，b与w参数进行了整合。

  • b对应的输入参数Xi为恒定值
  • b与w具有同等的位置。

就得到了最简化的模型 =》 W * X = Y

其中:

  • W为n+1长度的行矩阵
  • X为n+1长度的列矩阵
  • Y为数值标量

2.7 人工神经元的种类与应用场合

第3章 激活函数的种类

参考：[Python系列-16]：人工智能 - 数学基础 -6- 常见数学函数、激活函数大全

[Python系列-16]：人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_文火冰糖（王文兵）的博客-CSDN博客

3.1 Sigmoid函数

（1）公式

（2）图形

（3）特点

  • 无论线性函数的输出是多大，该激活函数把输出限制在(0,1)之间.
  • 如果线性函数的输出值为负无穷时，输出为0；
  • 如果线性函数的输出值为正无穷时，输出为1.
  • 如果线性函数的输出值为0时，输出中值为0.5.
  • 导函数平滑

3.2 tanh函数函数

（1）公式

 （2）图形

tanh(x)åå¶å¯¼æ°çå ä½å¾å

（3）特点

  • 无论线性函数的输出是多大，该激活函数把输出限制在(-1,1)之间.
  • 如果线性函数的输出值为负无穷时，输出为-1；
  • 如果线性函数的输出值为正无穷时，输出为+1.
  • 如果线性函数的输出值为0时，输出中值为0.
  • 导函数平滑

3.3 Relu函数

（1）公式

（2）图形

è¿éåå¾çæè¿°

（3）特点

  • 无论线性函数的输出是多大，该激活函数把输出限制在(0,+无穷)之间，即把所有的负数都映射成0.
  • 如果线性函数的输出值为负数时，输出为0；限制负数幅度映射为0.
  • 如果线性函数的输出值为正数时，输出等于输入y = x，不限制正数的映射幅度。
  • 如果线性函数的输出值为0时，输出为0.
  • 导函数不平滑

3.4 ELU (Exponential Linear Units) 函数

（1）数学公式

（2）图形表示

è¿éåå¾çæè¿°

（3）特点

  • 当x<0时，采用指数映射，限制负数的幅度。
  • 当x>0时，采用线性映射，不限制正数的幅度。
  • 当x=0是，映射值为0.
  • 导函数不平滑

3.5 激活函数的本质

（1）初等函数

激活函数的本质是初等函数。

（2）空间映射

激活函数的本质，是不同数值空间的映射：

把一个无限幅度的数值空间，映射成一个有限幅度的数值空间。

案例1：指数函数：y = e^{x}

  •  自变量x：为[-\infty, +\infty]的数值空间
  •  因变量y：为[0, +\infty]

经过映射，原先有的数值的顺序关系还保留，但数字范围被收缩。

案例2： Sigmoid函数：

  •  自变量x：为[-\infty, +\infty]的数值空间
  •  因变量y：经过映射后，数值被限制在[0, 1]之间.

第4章 感知机/器：Perceptron

 单个神经元，包括输入、处理、输出，统称为感知器，用来接收外部信息。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：[人工智能-深度学习-5]：人工神经元数学模型、激活函数、人工神经网络_文火冰糖（王文兵）的博客-CSDN博客

AI人工智能深度学习算法：神经网络的复杂性与能力
AI天才研究院
07-06 469
神经网络的训练通常采用反向传播算法，通过迭代更新权重来最小化损失函数。初始化权重：随机分配初始权重。正向传播：将输入数据通过网络，计算每层神经元的输出。计算损失：比较输出结果与实际标签，计算损失。反向传播：从输出层开始，逐层计算权重的梯度，调整权重以减少损失。更新权重：根据学习率调整权重，重复上述过程直至收敛。本文回顾了神经网络的核心概念、算法原理、数学模型、实际应用、开发工具、未来趋势以及面临的挑战，强调了神经网络在人工智能领域的关键作用。
【人工智能基础06】人工神经网络（练习题）：神经网络的计算、激活函数的选择与神经网络的退化
hiliang521的博客
12-08 1733
【人工智能基础06】人工神经网络（练习题）：神经网络的计算、激活函数的选择与神经网络的退化
人工神经网络建模过程,人工智能神经网络模型
kfc67269的博客
08-10 1665
人工神经网络（ArtificialNeuralNetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点爱发猫 www.aifamao.com。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activationfunction）。...
人工神经网络—神经元的数学模型
热门推荐
DIPDWC的博客
04-30 1万+
人工神经网络1. 简介 1. 简介 人工神经网络(Artificial Neural Networks)简称(NEURAL NETWORKS)，是集体智慧的结晶。人工神经网络的方法曾经经历过起起落落，也经历过几乎无人问津的地步，但是近年来突然受到非常广泛的关注，其原因在于以人工神经网络为理论基础的深度学习算法(DEEP LEARNING)，在几乎所有的机器学习领域取得突破性进展，获得了比深度学习之前的传统算法高很多的性能。尽管深度学习在实践中获得了非常好的性能，但它最本质的理论基础却和人工神经网络没有区别，
认知篇#5：什么是激活函数？激活函数有什么用？几个简单激活函数的简介（1）
最新发布
hjs314159的博客
03-23 1060
激活函数在神经网络中扮演着至关重要的角色，它通过控制信号的大小和增强网络的表达能力，帮助神经网络处理复杂的非线性问题。激活函数的引入能够防止神经网络仅表现为线性模型，进而提升深层网络的表现力。常见的激活函数包括Sigmoid、Tanh、ReLU和Leaky ReLU，每种函数都有其独特的优缺点。
神经网络模型预测控制,神经网络模型应用实例
Supermen333的博客
08-29 949
6)计算W[S1][S0]，b[S1]；9))输出W1[S1][S0]，b1[S1]。2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)输入参数P对模式(xp，dp)，p=1，2，…三、总体算法1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；...
人工智能神经元数学模型,人工神经元数学模型图
m0_54846070的博客
10-17 1036
人工神经网络算法 “人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F Rosenblatt、Widrow和J. J .Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
数学建模——人工神经网络模型
m0_63024355的博客
10-12 3922
1943年心理学家McCulloch和数学家Pitts提出神经元生物数学模型（M-P模型），后来人工神经网络(Artifical Neural Network,ANN)是在生物神经网络(Biological Neural Network,BNN)基础上发展起来的，是对人脑的某种抽象、简化和模拟，是模拟人的智能的一种途径。神经元是神经网络的基本处理单元，一个简化的神经元是多输入、单输出的非线性元件，大量的神经元互联而成的神经网络（非线性元件），在人工智能和机器自学习、自组织、联想以及容错方面具有强大的能力。
神经网络模型应用实例SPSS - 典型的神经网络模型 - 神经网络模型的应用
aifans_bert的博客
07-12 4443
在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人、复杂系统控制等等。纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。一、ART1模型概述自适应共振理论(Adaptive Resonance Theory)简称ART，是于1976年由美国Boston大学S.Grossberg提出来的。这一
人工智能算法之人工神经网络分享-模仿生物神经网络的结构和功能的数学模型-供大家学习研究参考
12-17
人工神经网络(ANN)是人工智能领域中的重要组成部分，它基于生物神经网络的原理，通过数学模型来模拟大脑中神经元的交互。这种模型的核心在于其非线性映射能力，能够处理复杂的数据关系，尤其适合图像、语音等非线性...
人工智能 - 项目实践 - 共享单车预测 - 一个完全基于numpy等基础python库的深度学习神经网络，实现美国共享单车预测
04-20
在这个项目实践中，我们将深入探讨如何使用纯Python基础库，特别是numpy，来构建一个深度学习神经网络，以此预测美国共享单车的使用情况。这个项目的核心在于理解并应用机器学习的基本原理，尤其是深度学习技术，来...
神经网络（数学建模）
08-09
人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 东北大学数学建模教学使用ppt
深度学习系统笔记，包含深度学习数学基础知识、神经网络基础部件详解、深度学习炼丹策略、模型压缩算法详解等.zip
12-18
深度学习是现代人工智能领域的重要分支，它通过模拟人脑神经网络的工作原理，处理复杂的数据问题。这份"深度学习系统笔记"涵盖了多个关键知识点，旨在帮助读者深入理解和掌握这一技术。 首先，深度学习数学基础知识...
人工神经网络数学模型图,神经网络模型数学建模
神经网络爱好者
08-18 593
人工神经网络（ArtificialNeuralNetworks,ANN），一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。...
人工智能基础部分6-神经网络初步认识(超详细)
微学AI的博客
12-25 5838
大家好，我是微学AI，今天给大家介绍一下神经网络的基本知 神经网络就像一个人，它可以从外部获取输入信息并将其转换为内部结构，以便在不同的情况下做出正确的决定。神经网络也像一个掌握语言的机器，它能够接受输入，模仿人类的学习方式，从而学习和记忆特定的输入和输出之间的关系。
PyTorch深度学习入门 || 系列（三）——人工神经元
#仙女不扎马尾#的博客
03-23 2060
文章目录0 写在前面1 数据处理2 模型定义2.1 完整的模型定义3 设置Loss函数4 优化——梯度下降和随机梯度下降5 完整代码 0 写在前面 这一篇文章介绍人工神经元、人工神经网络。 1 数据处理 用linspace()函数产生[-3,3)区间内的100 000个点，并使用unsqueeze()函数在第一维处增加一个维度！ 展示一下unsqueeze()函数的前后对比： 2 模型定义 定义一个线性模型LR，它继承PyTorch中的nn.Module，nn就是Neural Network的缩写。
今天聊聊人工神经元数学模型
C_19870的博客
08-15 292
数学上，输入权重可以表示为 w1, w2, ..., wn，对应于输入 x1, x2, ..., xn，通过加权求和的方式进行计算：加权和 = w1x1 + w2x2 + ... + wn*xn。在没有偏置的情况下，即使输入的加权和足够大，激活函数的输出也可能会很小，甚至趋近于零。随着技术的不断演进，我们可以期待人工神经元模型的进一步创新和应用，为人工智能的未来铺平道路。通过调整输入权重、选择合适的激活函数以及设置适当的偏置，我们可以设计出各种不同类型的人工神经元模型，以适应不同的任务和问题。
利用神经网络进行分类,神经网络学什么
shirley67269的博客
08-30 930
目前，在遥感图像的自动分类方面，应用和研究比较多的人工神经网络方法主要有以下几种：（1）BP（BackPropagation）神经网络，这是一种应用较广泛的前馈式网络，属于有监督分类算法，它将先验知识融于网络学习之中，加以最大限度地利用，适应性好，在类别数少的情况下能够得到相当高的精度，但是其网络的学习主要采用误差修正算法，识别对象种类多时，随着网络规模的扩大，需要的计算过程较长，收敛缓慢而不稳定，且识别精度难以达到要求。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。...
人工智能神经网络模型,人工智能模拟神经元
神器榜
10-21 2226
人工神经网络（Artificial Neural Network，即ANN ）是从信息处理角度对人脑神经元网络进行抽象，是20世纪80年代以来人工智能领域兴起的研究热点，其本质是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，在模式识别、智能机器人、自动控制、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性人工神经网络模拟大脑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文火冰糖的硅基工坊

你的鼓励是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值