深度学习之学习笔记（三）—— 神经元的工作原理

最新推荐文章于 2023-06-29 11:08:50 发布
最新推荐文章于 2023-06-29 11:08:50 发布
阅读量1.2w 收藏 16
点赞数 7
分类专栏： 人工智能 文章标签： 机器学习 人工智能 深度学习 神经网络 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linxiaoyin/article/details/104082552
版权

神经元的工作原理

大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。

2019年8月，谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作，发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。果蝇的一个重要优势是它们的大小：果蝇的大脑相对较小，只有10万个神经元，相比之下，老鼠的大脑有1亿个神经元，人类的大脑有1000亿个神经元。研究人员称，由于成像的高分辨率，即使只有一立方毫米的脑组织，也可以产生超过1000TB 的数据。

 

 

神经元的结构

 

  • 细胞体是神经元的主体，它包括细胞核、细胞质和细胞膜三部分
  • 树突主要接受来自其他神经元的信号，是接受器
  • 轴突用来输出细胞体产生的电脉冲信号，是发射器
  • 轴突的末端形成许多分支，称作神经末梢，每条神经末梢与其他神经元通过突触相连并传递信号

  • 髓鞘是包裹在神经细胞轴突外面的一层膜

 

神经元的工作过程
 

其他神经元的信号（输入信号）通过树突传递到细胞体（也就是神经元本体）中，细胞体把从其他多个神经元传递进来的输入信号进行合并加工，然后再通过轴突前端的突触传递给别的神经元。神经元就是这样借助突触结合而形成网络的。

如上图所示，神经元1的轴突传递了4个信号给神经元2，分别是输入1、输入2、输入3和输入4。而神经元2的输出信号（输出1和输出2）分别是神经元3的输入信号（输入1和输入2）。

如果输入信号之和超过神经元固有的边界值（阈值），细胞体就会做出反应，向与轴突连接的其他神经元传递信号，这称为点火。

点火时神经元输出的信号大小时固定的。即便从邻近的神经元接收到很大的刺激，或者轴突连接着多个神经元，这个神经元也只输出固定大小的信号。点火的输出信号是由"0" 或 "1"表示的数字信息：

  • 无输出信号，y=0
  • 有输出信号，y=1

 

神经元与数学的挂钩——M-P神经元模型

1943年， [McCulloch and Pitts, 1943] 将神经元的工作过程抽象为上图所示的简单模型，这就是一直沿用至今的 "M-P神经元模型" 。

在这个模型中，神经元接收到来自 m 个其他神经元传递过来的输入信号，这些输入信号通过带权重（weights）的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出。神经元在信号之和超过阈值时点火，不超过阈值时不点火。

所以点火的函数可以表示为：y = \varphi (w_1x_1 + w_ 2x_1 + w_3x_3+ ... + w_mx_m - b)

其中，\varphi (z)称为激活函数。理想中的激活函数是下图所示的阶跃函数，它将输入值映射为输出值 "0" 或 "1" ，显然，

  • "1" 对应于神经元兴奋（点火成功）
  • "0" 对应于神经元抑制（点火不成功）

然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数，我将在后面的章节中介绍Sigmoid函数。

 

下一章，我们将介绍神经网络的雏形——感知机

 

References：

知乎：谷歌自动重建了果蝇完整大脑：40 万亿像素图像首度公开！， 新智元

 

肖恩林
关注
  • 7
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经元与神经网络结构
lin的博客
09-15 1万+
工神经网络（Artificial Neural Network，即ANN ） 神经元模型 1.生物神经元 神经元由一个细胞体和突两部分组成。突分两类，轴突和树突。 树突和轴突共同作用，实现神经元之间的信息传递。 轴突的末端与树突进行进行信号传递的界面成为突触，通过突触向其他神经元发送信息。学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋信号或抑制信号...
layer output 激活函数_激活函数与网络构建
weixin_39946274的博客
12-20 459
1. 激活函数在神经元中引入了激活函数，它的本质是向神经网络中引入非线性因素的，通过激活函数，神经网络就可以拟合各种曲线。如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，引入非线性函数作为激活函数，那输出不再是输入的线性组合，可以逼近任意函数。1.1 Sigmoid/logistics函数数学表达式为：sigmoid 在定义域内处处可导，且两侧导数...
《TensorFlow 深度学习》阅读笔记（三）—— 神经网络
01-20
二、神经网络 注：整理自《TensorFlow 深度学习》(龙龙老师)一书，侵删 神经网络组成 神经元模型如上图，X为输入的向量，W为超参数向量，b为偏置项。输出的计算公式如下： y=∑i=1nxiwi y = \sum_{i=1}^{n} x_iw_i y=i=1∑n​xi​wi​ 多个神经元，可以构成神经网络，如下图： 中间部分称为隐藏层，神经网络层数在计算的时候只计算隐藏层及输出层。 神经网络的实现 对于上述的神经网络有两种方式实现： 张量方式 # 隐藏层 1 张量 w1 = tf.Variable(tf.random.truncated_normal([784, 256], st
深度学习基础：神经网络+激活函数+反向传播+优化算法 理解网络结构，运用激活增强非线性，掌握反向调整参数，优化算法提升性能，赋能
最新发布
03-20
深度学习基础：神经网络+激活函数+反向传播+优化算法 深度学习，作为机器学习的一个重要分支，以其强大的特征学习和表示能力，在图像识别、自然语言处理等领域取得了显著的成果。要深入理解并应用深度学习，掌握其基础知识显得尤为重要。其中，神经网络、激活函数、反向传播和优化算法是深度学习的四大基础要素。 神经网络是深度学习模型的核心。它模仿人脑神经元的连接方式，通过多层网络结构，逐层提取数据的特征。理解神经网络的结构和原理，是构建高效深度学习模型的关键。 激活函数为神经网络引入了非线性因素，使得模型能够学习并表示复杂的数据模式。常用的激活函数包括Sigmoid、ReLU等，它们各自具有不同的特点和适用场景。正确选择和使用激活函数，对于提升模型的性能至关重要。 反向传播是深度学习模型训练的核心算法。它通过计算损失函数对模型参数的梯度，指导模型参数的更新方向。掌握反向传播的原理和实现方法，有助于我们更好地理解深度学习模型的训练过程，并有效地调整模型参数。 优化算法则是用于调整模型参数的具体方法。常见的优化算法包括梯度下降、Adam等。这些算法通过不同的方式调整学习率和参数更新策略，以加速模
生物神经元
zhinanpolang的专栏
03-27 1296
人脑大约由140亿个神经元组成，神经元互相连接成神经网络 神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 从神经元各组...
（二）从生物神经元来学习人工神经元基本模型的工作原理
qq_36181546的博客
11-20 3404
生物神经元： 上图所示为生物学中一种最常见的神经元类型，主要由树突、细胞体和轴突组成。其各部分主要职责为： 1.树突：从其他多个神经元处接受神经递质并转为电信号； 2.细胞体：处理从树突得来的所有电信号，如果信号值达到了动作电位，则会向轴突方向传递新的电信号； 3.轴突：向其他神经元发送信号。 因为一个神经元树突上的分支很多，因此可以接受很多来自其他神经元的信号，但是轴突只有一个，因此即使轴突与其他很多神经元相连，该细胞发送给其他细胞的信号只能是相同的。 人工神经元： 人工神经元是对生物神经元的一个抽象，.
深度学习小记00--神经元的工作原理与简单代码实现
YmgmY的博客
07-13 1293
深度学习小记00--神经元的工作原理与简单代码实现一、神经元的基本模型（一）前向传播（二）反向传播--梯度下降法（三）为什么需要进行线性拟合再做非线性映射（激励函数）？二、python代码实现 本系列博客用于记录学习深度学习的过程。 一、神经元的基本模型 如图所示是一个神经元的基本模型，神经元在训练时的主要步骤分为蓝色线（前向传播）和红色线（反向传播–梯度下降）。约定符号：X11表示第一个样本的第一个特征值，X1表示第一个样本，Y1表示第一个样本的实际值，A1表示第一个样本的预测值，W1表示加在第一个特征
深度学习的基本原理和概念是什么？
m0_74693860的博客
06-29 4422
深度学习是机器学习中一种强大的技术，它模拟人脑神经网络的工作方式，通过构建深层次的神经网络来实现对数据的学习和分析。本文将介绍深度学习的基本原理和概念，帮助读者了解深度学习的工作原理。
人工智能——神经网络基础
咸鱼菌
02-21 3793
人工智能——神经网络基础人类大脑神经元人工神经元神经网络模型层次型结构互连型网络结构前馈型网络反馈型网络记忆性网络 人类大脑神经元 人类大脑神经元： 神经元是大脑处理信息的基本单元人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突组成 。 生物神经元在结构上由四部分组成。用来完成神经元间信息的接收
神经元的工作机制
qq_39872710的博客
09-11 1660
神经元的工作机制 生物学中神经元的工作机制 神经元的基本结构 神经元由细胞体个突起组成。突起分为轴突和树突。 细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。 细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传入的信息的入口。 树突短而分枝多，直...
AI学习笔记——卷积神经网络（CNN）
02-24
本文来自简书，本文主要介绍了一个完整的卷积神经网络(CNN)，卷积的滤波器（Filter）是如何工作的呢？请参见下文。上篇文章简单地地介绍了神经网络和深度学习，在神经网络中，每一层的每个神经元都与下一层的每个神经元相连(如下图)，这种连接关系叫全连接（FullConnected）。如果以图像识别为例，输入就是是每个像素点，那么每一个像素点两两之间的关系(无论相隔多远)，都被下一层的神经元"计算"了。这种全连接的方法用在图像识别上面就显得太"笨"了，因为图像识别首先得找到图片中各个部分的"边缘"和"轮廓"，而"边缘"和"轮廓"只与相邻近的像素们有关。这个时候卷积神经网络(CNN)就派上用场了，卷
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中），RDD混合了各种计算模型，使得Spark可以应用于各种大数据处理场景当然，RDD肯定不会这么简单，它的功能还包括容错、集合内的数据可以并行处理等。RDD可以cache到内存中，每次对RDD数据集的操作之后的结果
深度学习与神经网络从原理到实践（基于TensorFlow2）
06-21
深度学习和神经网络隶属于机器学习范畴，但是由于它在行业中应用广泛、研究成果显著，成为当下最热门的研究领域，因此深度学习就作为一门独立的学科被提出来了。 本课程使用的开发工具为TensorFlow2.X，如果你刚接触TensorFlow2，“墙裂”建议你从TensorFlow2学起，因为Google团队对其做了重大调整，它极大降低了开发者学习的门槛，更加简单，易用，开发者更多的应该关注深度学习算法本身。 本课程知识覆盖全面，项目案例丰富，以项目为导向，通过动态图形展现推理过程，深入浅出，从原理到实践均能很快掌握。 课程编排如下： 神经网络原理（神经元，单层感知器，多层感知器）TensorFlow2.X基础（环境搭建，常用函数，线性回归实现）全连接神经网络（前馈神经网络，全连接神经网络，神经网络搭建，手写数字识别，衣物识别）模型优化（模型复杂度，损失函数，学习率，优化器，图片增强，dropout）CNN卷积神经网络（原理，LeNet5，AlexNet，VGGNet，InceptionNet，ResNet，物品识别）RNN循环神经网络（原理，LSTM，GRU，股票预测）BP神经网络（正向传播
大语言模型 原理详解完整版
08-03
大语言模型是一种基于深度学习的自然语言处理技术，它可以预测给 定上下文中最可能出现的下一个单词或词组。在近年来，随着深度学 习技术的不断发展和计算能力的增强，大语言模型在自然语言处理领 域得到了广泛应用。本文将详细介绍大语言模型的原理。 自然语言处理（Natural Language Processing, NLP）是一种计算机 科学领域，旨在让计算机能够理解、分析、生成人类语言。NLP 涉及 到很多子领域，例如文本分类、情感分析、机器翻译等。 神经网络（Neural Network）是一种由多个节点组成的计算模型，在深度学习中被广泛应用。每个节点都代表一个神经元，它们通过连接 进行通信，并使用激活函数将输入转换为输出。
python tensorflow神经网络预测模型
12-15
使用Python编写一个预测模型，可以使用深度学习库例如TensorFlow或PyTorch来构建神经网络模型。资源是一个使用TensorFlow构建神经网络预测模型的简单示例。在这个例子中，首先使用np.array来定义训练数据的特征向量X_train和目标向量y_train。然后，创建了一个序列模型Sequential，并使用Dense层定义了神经网络的模型架构，其中包含两个具有64个神经元的隐藏层和一个输出层。使用relu作为激活函数。然后，使用compile方法来编译模型，指定了优化器adam和损失函数mse（均方误差）。接下来，使用fit方法来训练模型，并指定训练的轮数。最后，使用训练好的模型对新的数据X_test进行预测，并打印预测结果。 这只是一个简单的示例，实际的神经网络模型可能会更复杂，并且通常还需要进行数据预处理、特征工程等步骤。另外，还可以根据需求调整神经网络的架构、添加更多的层或调整超参数等。这个例子可以帮助你入门神经网络预测模型的构建，但在实际应用中，可能需要更深入地学习和探索深度学习的原理和技术。
1.1神经元工作原理
01-19
深度学习和神经网络 1.1神经元工作原理 1.2神经网络介绍 1.3深度神经网络 1.4卷积神经网络 1.5循环神经网络 1.6生产判别式网络 1.7深度学习的应用 1.8图片生产 1.9课后解答
深度学习笔记（1）——感知机
01-06
接触深度学习的第一个概念就是感知机，感知机是与门、或门的逻辑电路，是一种判别模型。常见的感知机分为与门、或门、非与门。 通过感知机，相当于是用一条直线将空间进行了划分。 二、几种感知机 1. 与门（and_gate...
深度学习之学习笔记（七）—— 损失函数
linxiaoyin的博客
01-28 4044
损失函数 在第五章《神经网络的学习（训练）》中，我们介绍神经网络的训练过程中，需要不断对权重进行调整。调整权重的目的是为了得到一组最终权重，使得输入的特征数据的输出达到我们的期望值，也就是神经网络的实际输出值与期望输出值误差最小。 那么问题来了：如何度量两组数据之间的差异？ 序号 实际输出值 期望输出值（Label） 1 数据a 数据b 2 323.1 ...
HR神经元matlab
03-14
HR神经元是一种常用的人工神经元模型，用于模拟生物神经元的行为。它是由Hodgkin和Huxley在20世纪50年代提出的，用于描述神经元膜电位的变化过程。HR神经元模型主要包括四个方程，即膜电位方程、钠离子通道方程、钾离子通道方程和外部电流方程。 在Matlab中，可以使用数值计算方法来模拟HR神经元的行为。首先，需要定义HR神经元的参数，如膜电容、电导等。然后，可以使用欧拉法或其他数值方法来求解膜电位方程和离子通道方程，得到神经元的电压随时间的变化曲线。 以下是HR神经元模型的一般形式： 1. 膜电位方程： C * dV/dt = I - gNa * m^3 * h * (V - ENa) - gK * n^4 * (V - EK) - gL * (V - EL) 其中，C为膜电容，V为膜电位，I为外部电流，gNa、gK、gL分别为钠离子通道、钾离子通道和泄漏通道的电导，m、h、n为离子通道的激活和失活变量，ENa、EK、EL分别为钠离子、钾离子和泄漏通道的平衡电位。 2. 钠离子通道方程： dm/dt = alpha_m * (1 - m) - beta_m * m dh/dt = alpha_h * (1 - h) - beta_h * h 其中，alpha_m、beta_m、alpha_h、beta_h为与膜电位相关的参数。 3. 钾离子通道方程： dn/dt = alpha_n * (1 - n) - beta_n * n 其中，alpha_n、beta_n为与膜电位相关的参数。 4. 外部电流方程： I = I_ext(t) 其中，I_ext(t)为外部输入电流。 以上是HR神经元模型的基本方程，通过数值求解这些方程，可以得到神经元的电压随时间的变化曲线。在Matlab中，可以使用数值求解器（如ode45函数）来求解这些方程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值