深度学习总结

1.什么是感知机

感知机是一种二元线性分类模型，由美国学者Frank Rosenblatt在1957年提出来的。它是作为神经网络（深度学习）的起源的算法之一，也是学习通向神经网络和深度学习的一种重要思想。感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流”（1/0）两种取值。

x1、 x2是输入信号，y是输出信号， w1、 w2是权重。图中的⚪圈称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、 w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活” 。

w称为权重：控制输入信号的重要性的参数 b称为偏置：偏置是调整神经元被激活的容易程度参数

2.简单逻辑电路

2.1与门真值表

如图所示，与门仅在两个输入均为1时输出1，其他时候则输出0。

                      

2.2与非门真值表

如下图所示，仅当x1和x2同时为1时输出0，其他时候则输出1。

2.3或门真值表

或门是“只要有一个输入信号是1，输出就为1”的逻辑电路。

2.4异或门真值表

异或门也被称为逻辑异或电路。如图2-5所示，仅当x1或x2中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。

3.激活函数

激活函数是神经网络中的一种非线性函数，它的作用是将输入信号转换为输出信号，常用于神经网络的隐藏层和输出层。激活函数的主要作用是引入非线性因素，使神经网络可以拟合非线性函数，从而提高模型的表达能力和预测精度。常见的激活函数包括Sigmoid、Tanh、ReLU、Softplus、Mish等。其中，Sigmoid和Tanh函数在深度学习中已经不再常用，ReLU是目前最常用的激活函数之一，而Softplus和Mish则是近年来提出的新型激活函数。

激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质： （1） 连续并可导（允许少数点上不可导）的非线性函数。 （2） 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。 （3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

阶跃函数在信号处理、控制系统和神经网络等领域中都有广泛的应用。在神经网络中，阶跃函数通常被用作激活函数，将输入信号转换为输出信号。此外，阶跃函数还可以通过叠加不同位置处的阶跃函数来逼近原函数，这在机器学习中也有广泛的应用。

可以说感知机使用了阶跃函数作为激活函数。