记录深度学习入门(鱼书)学习笔记

第2章 感知机

感知机是神经网络的起源算法，可接收多个输入信号输出一个信号，感知机的信号只有0和1两种取值，0不传递信号1对应传递信号。

 

感知机的简单逻辑电路包括：与门（AND gate）、与非门(NAND gate)、或门(OR gate)

与门仅在两个输入（x1,x2）均为1时输出1，其他时候输出0。

与非门和与门相反仅在两个输入（x1,x2）均不为1时输出1，其他时候输出0。

或门在两个输入中只要有一个输入（x1,x2）为1时输出1，其他时候输出0。

感知机的简单实现： w1w2为权重 θ为 阈值 y为输出信号 每个输入信号都有各自固定的权重

权重的作用是控制信号的重要性。

感知机导入权重和偏置的实现： b为偏置 偏置是控制神经元被激活的难易程度，偏置越小神经元就越容易被激活。

感知机的局限性：单层感知机只能表示由一条直线分隔的空间（线性空间），多层感知机可以表示有曲线分隔的空间（非线性空间）。

多层感知机：单层感知机可通过叠加层的方式表示非线性空间实现异或门，通过组合与非门、或门、与门实现异或门

将真值表代入结果如下图：

使用感知机实现计算机对信息的处理：

计算机和感知机一样也有输入和输出，接收输入信息后，按照某个既定的规则进行计算。已有研究证明，2 层感知机（严格地说是激活函数使用了非线性的 sigmoid 函数的感知机）可以表示任意函数。

再此留下疑问2层感知机如何实现计算机，待学习完第三章在进行回顾。