perceptron心得

电脑由许多连接在一起的基本细胞（也叫做神经元）来产生高度复杂的模式。

McCulloch 和 Pitts于是在1943年给出了一个高度简化的神经元模型，以用于对生物神经元进行关键特征建模。也就是我们常说的MP或者MCP模型。

MP的核心思想是每个MCP神经元网络都编码一些逻辑问题，但注意MP神经元并非真正的神经元。却对今天的神经网络和计算机都具有很强的启发性。

MP具有全有或全无的特征，比如常用的逻辑运算只有1和0两种结果。这种特征由阈值进行控制。

MP的连接可以理解为检测器，如某个MP神经元具有两个接收器并且都连接到鸟的眼睛，一个是圆圈检测器、一个是紫色检测器。注意这里就相当于是卷积核了。另外、检测结果收到阈值控制。MP神经元本质上是一个逻辑函数。

MP没有考虑信号本身的强弱，所以考虑到实际应用，信号可以增强也可以减弱、在神经网络中我们叫做兴奋性信号和抑制性信号。MP的处理方式是收到新兴奋信号就会发出信号，收到抑制性信号就不会发出信号。

MP参数由人为进行设置，不能解决异或问题，但后人发现可以增加一个网络层解决异或问题，也就是3个MP神经元。除此以外MP还有另外一种解决方式解决异或问题，就是增加更多的接收器。这里要尤其注意，这和现在主流网络设计思想着重有所不同。

对于计算机或者数学来说，信号的兴奋和抑制无法衡量，必须使用一种方法进行解决这个问题，那就是权重或强度。这种想法的来源于1949年心理学家Donald Hebb提出的检测器反复持续地向神经元发送信号，从而激活神经元发出自己的信号，检测器与神经元的联系就会以某种方式加强。从而就变成了带有权重的MP神经元学习规则，说白了这种信号强度在数学上转化为权重w进行控制。信号的强度根据实际情况可以人为进行调整，这就是学习，至于后来深度学习自学习只是学习主体的不同。

既然学习就需要一定的规则，如我们出生不知道开会会伤人，直到被烫伤后你知道了这个道理，这就是规则，但这个规则在计算机中必须以数学来衡量。比如如果温度大于100°会伤人，也就是温度大于100°进行信号输出，即f(x)=t,这里的规则即为f(x)，这个f(x)就是一个MP。如我们看到吃饭时使用的碗时圆形的，我们也可以设置一个规则检测原型，这个规则是f(x)=x2+y2,这也是一个MP，其实这里的原型检测器就是我们常说的卷积核的一种表现形式，只不过这里是数学上的，计算机视觉里面使用矩阵表示。二者本质上没什么不同。

我们设计一定规则来解决实际应用，从全连接到卷积等，这些设计在不同阶段效果有所不同，本质却是一样的，那就是这些都基于我们的行为，比如我行我素就会得罪很多人，品行端正就会广交朋友。我们小时候的行为都是父母引领的，这跟MP人为修改权重一样，现在长大了我们的行为都是自己造成的，只不过一切成长几乎都是自己造成的，这就是我们现在所说的自学习，但我们的知识基础是从小开始的，这就是迁移学习。时不时父母还会给我们一些意见，我们不可能完全脱离父母，这就是超参数。我们也常常犯错，同样错误我们要犯很多次，我们也常常回忆过往自己为什么改不了自己这些臭毛病，其实我们是想改正的。这就是反向传播。大部分人很多同样的毛病可能永远都改不了，他们却老是对别人说我要改改改 ，比如抽烟的人可以尝试各种方式（训练）戒烟，他们可能戒掉也可能戒不掉，这些方式就是凸优化。其实嘛，对与错往往不好衡量（验证），相对不出啥大问题就可以了，这就是损失函数，永远要做最好，永远也做不到最好，只是相对好。

前名说了权重的计算结果由阈值进行控制，这里数学上也进行了转化，也就是激活函数问题，这个转换的思想跟上面提到的规则-卷积核思想是一个道理。

对于上面图片，我们要检测图片中的烟火，我们可以设计多个检测器，包括黄色检测器、灰白色检测器、多边形形状检测器去检测烟火，注意一个检测器就是一个MP。把这些MP组合起来就能通过某种方式检测到烟火图片了。这些检测器又叫做MP神经元或者卷积核，MP模型本身没有提出类似的检测器，这是由Frank Rosenblatt感知机里面引入的。每个MP神经元都对应具体的功能，本质上来说就是一种模式识别模块，以检测特征或者模式。

这些模式识别模块有一定生物学基础，并非凭空产生。David Hubel 和 Torsten Wiesel 正在研究猫的视觉皮层。他们发现皮层中有一组细胞对猫视野中物体的某些特征的存在做出反应。例如，这些细胞组中的一个对对象中边缘的存在做出响应。另一组细胞对特定方向上的一条线的存在作出反应。这些细胞组实际上是罗森布拉特感知器的关联单元（模式识别模块）。

感知器由 MCP 神经元“层”组成，所有这些神经元都将其输出发送到单个 MCP 神经元。但感知机不能解决异或问题，由此引出了多层感知机，但多层感知机不能解决学习问题，由此引出了反向传播。

来源：

  https://mind.ilstu.edu/curriculum/perception_intro/intro_to_perception_2.html

感知在生物学上就是感觉和知觉，比如我们识别面孔、人物、地点、动物、物体和事件，说明我们具有感知能力。实际上感知包括视觉、听觉、触觉、嗅觉、味觉。没有单一的研究方法可以回答我们关于感知本质的所有问题。毕竟，每种方法都有局限性。深度学习只是其中的一种。