感知器-从零开始学深度学习

感知器-从零开始学深度学习

---

未来将是人工智能和大数据的时代，是各行各业使用人工智能在云上处理大数据的时代，深度学习将是新时代的一大利器，在此我将从零开始记录深度学习的学习历程。

我希望在学习过程中做到以下几点：

• 了解各种神经网络设计原理。
• 掌握各种深度学习算法的python编程实现。
• 运用深度学习解决实际问题。

让我们开始踏上深度度学习的征程。

---

一、感知器原型

想要了解“神经网络”，我们需要了解一种叫做“感知器”的⼈⼯神经元。感知器在 20 世纪五、六⼗年代由科学家 Frank Rosenblatt 发明,⼀个感知器接受⼏个输⼊，并产⽣⼀个输出。

下图是一个感知器:

⽰例中的感知器有三个输⼊x1、x2、x3（1*w0作为偏置，后面会讲到）。通常可以有更多或更少输⼊。 Rosenblatt 提议⼀个简单的规则来计算输出。他引⼊权重w1、w2、w3..表⽰相应输⼊对于输出重要性的实数（权重）。神经元的输出为0 或者 1，则由计算权重后的总和 $\sum_{j} w_j x_j$ ⼩于或者⼤于⼀些阈值决定。和权重⼀样，
阈值是⼀个实数，⼀个神经元的参数。⽤更精确的代数形式：

这就是⼀个感知器所要做的所有事情！
而我们把阖值移动到不等式左边，并用感知器的偏置b=-threshold代替，用偏置而不用阖值。其中实现偏置的一种方法就是如前图所示在输入中引入一个偏置神经元x0=1，则b=x0*w0,那么感知器的规则可以重写为：

此时就可以使用阶跃函数来作为感知器的激励函数。

到此我们可以发现，一个感知器由以下几部分组成

• 输入权值 一个感知器可以接收多个输入
  $(x_1, x_2,...,x_n\mid x_i\in\Re)$，每个输入上有一个权值$w_i\in\Re$，此外还有一个偏置项$b\in\Re$，就是上图中的$w_0$。

• 激活函数 感知器的激活函数可以有很多选择在此我们选择下面这个阶跃函数来作为激活函数$f$：
  f(z)={