《深度学习入门-基于Python的理论与实现》学习与实践——第二章 感知机

开始本书学习，过程中并作记录，加深印象与理解的同时，希望也对想往这方向发展的同学有所裨益。

---------------------------------------------------------------------------------------------------------------------------
定义上：感知机有多个输入信号，最终输出一个信号。

举了一个简单的例子构建一个形象的认识：两个输入的感知机 

        图2-1是一个接收两个输入信号的感知机的例子。x1、x2是输入信号，y是输出信号，w1、w2是权重。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值，用符号θ表示。

        整理成为一个数学函数表示如下：

该类型函数有一个共同点：

        当输入值达到某一个阈值时，输出值发生阶跃性跳变，因此也成为阶跃函数；早期感知机和神经网络使用阶跃函数，后期基本上sigmoid函数。

后面需要学习，此处就先做一下两者间的比较，横向对比来加深认识：
        1. 相对于阶跃函数只能返回0或1，sigmoid函数可以返回0.731 ...、0.880 ...等实数（这一点和刚才的平滑性有关）。也就是说，感知机中神经元之间流动的是0或1的二元信号，而神经网络中流动的是连续的实数值信号。

        2.两函数的共同性质：阶跃函数和sigmoid函数虽然在平滑性上有差异，但两者的结构均是“输入小时，输出接近0（为0）；随着输入增大，输出向1靠近（变成1）”。也就是说，当输入信号为重要信息时，阶跃函数和sigmoid函数都会输出较大的值；当输入信号为不重要的信息时，两者都输出较小的值。还有一个共同点是，不管输入信号有多小，或者有多大，输出信号的值都在0到1之间。

   tip:

• 感知机将权重和偏置设定为参数。
• 使用感知机可以表示与门和或门等逻辑电路。
• 异或门无法通过单层感知机来表示。
• 使用2层感知机可以表示异或门。
• 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间。
• 多层感知机（在理论上）可以表示计算机。