开始本书学习,过程中并作记录,加深印象与理解的同时,希望也对想往这方向发展的同学有所裨益。
---------------------------------------------------------------------------------------------------------------------------
定义上:感知机有多个输入信号,最终输出一个信号。
举了一个简单的例子构建一个形象的认识:两个输入的感知机
图2-1是一个接收两个输入信号的感知机的例子。x1、x2是输入信号,y是输出信号,w1、w2是权重。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重(w1x1、w2x2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值,用符号θ表示。
整理成为一个数学函数表示如下:
该类型函数有一个共同点:
当输入值达到某一个阈值时,输出值发生阶跃性跳变,因此也成为阶跃函数;早期感知机和神经网络使用阶跃函数,后期基本上sigmoid函数。
后面需要学习,此处就先做一下两者间的比较,横向对比来加深认识:
1. 相对于阶跃函数只能返回0或1,sigmoid函数可以返回0.731 ...、0.880 ...等实数(这一点和刚才的平滑性有关)。也就是说,感知机中神经元之间流动的是0或1的二元信号,而神经网络中流动的是连续的实数值信号。
2.两函数的共同性质:阶跃函数和sigmoid函数虽然在平滑性上有差异,但两者的结构均是“输入小时,输出接近0(为0);随着输入增大,输出向1靠近(变成1)”。也就是说,当输入信号为重要信息时,阶跃函数和sigmoid函数都会输出较大的值;当输入信号为不重要的信息时,两者都输出较小的值。还有一个共同点是,不管输入信号有多小,或者有多大,输出信号的值都在0到1之间。
tip:
• 感知机将权重和偏置设定为参数。
• 使用感知机可以表示与门和或门等逻辑电路。
• 异或门无法通过单层感知机来表示。
• 使用2层感知机可以表示异或门。
• 单层感知机只能表示线性空间,而多层感知机可以表示非线性空间。
• 多层感知机(在理论上)可以表示计算机。