【西瓜书】神经网络-MP神经元、感知机和多层网络

  • 神经网络(neural networks)的定义:神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。(T. Kohonen 1988年在Neural Networks创刊号上给出的定义)。
  • 在机器学习中谈论神经网络时,指的是神经网络学习。
  • 神经网络中最基本的成分是神经元(neuron)模型。即上述定义中的简单单元。neuron 也称 unit。
  • 生物神经网络中,每个神经元与其他神经元相连,当它“兴奋”时,就会向相邻的神经元发生化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个“阈值”(threshold),那么它就会激活,即“兴奋”起来向其他神经元发送化学物质。threshold 也叫 bias。

M-P神经元模型

来源于西瓜书-P97
  • 在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与这个神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。
  • 产生“0”和“1”最好的函数时阶跃函数,但阶跃函数有不连续、不光滑等不太好的性质,实际常用 Sigmoid 函数作为激活函数,它能把较大范围内变化的数值挤压到(0, 1)输出值范围内,因此也被称为“挤压函数”(squashing function)。

感知机模型

来源于西瓜书-P99
  • 感知机(Perception)由两层神经元组成。输入层接收外界输入信号后传递给输出层,输出层是M-P神经元。也称“阈值逻辑单元”(threshold logic unit)。
  • 感知机可能容易地实现逻辑与、或、非运算。
  • 阈值θ可看作一个固定输入为-1.0的“哑节点”(dummy node)所对应的连接权重。
  • η∈(0, 1) 称为学习率(learning rate),通常设置为一个小正数。
  • 感知机只有输出层神经元进行激活函数处理,即只拥有一层功能神经元(functional neuron)。
  • 事实上,与、或、非问题都是线性可分问题(linearly separable)问题,即存在一个线性超平面能将他们分开,这时感知机的学习过程一定会收敛(converge)而求得适当的权向量。否则感知机的学习过程将会发生振荡(fluctuation)。
  • 非线性可分意味着用线性超平面无法划分。

多层网络

来自西瓜书-P101
  • 要解决非线性可分问题,需考虑使用多层功能神经元。
  • 输入和输出层之间的一层神经元,被称为隐层或隐含层(hidden layer),隐含层和输出层都是拥有激活函数的功能神经元。
  • 只需要包含隐层,即可称为多层网络。
  • 每层神经元与下一层神经元全连接,神经元之间不存在同层连接,也不存在跨层连接,这样的神经网络就通常称为“多层前馈神经网络”(Multi-layer feedforward natural networks)。“前馈”并不意味着网络中的信号不能向后传,而是指网络拓扑结构上不存在环或回路。
  • 输入层神经元仅接受输入不进行函数处理,隐层与输出层包含功能神经元。
  • 神经网络的学习过程,就是根据训练数据来调整神经元之间的“连接权”(connection weight)以及每个功能神经元的阈值。也就是说,神经网络学到的东西蕴含在连接权与阈值中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乘风而来的思绪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值