吴恩达机器学习笔记---神经网络实现XNOR功能

前言

 我们通过神经网络模型实现XNOR(异或非)运算。当2个输入端中有且只有一个0时，输出为0，也就是当输入相同时，输出为1。

神经网络实现XNOR

(一)实现x1 AND x2

  AND运算是当且仅当两者都为1时结果为1。我们使用如下的神经网络模型实现：

  这时候，我们的输出函数$h_{\theta }(x)$即为：$h_{\Theta }(x)=g\left(-30+20x_1+20x_2\right)$，我们的Sigmoid函数是这样的：

  所以，当$x_1和x_2$都为0时，$h_{\Theta }(x)=g\left(-30\right)$，结果约等于0；当$x_1和x_2$都为1时，$h_{\Theta }(x)=g\left(10\right)$，结果约等于1；当$x_1和x_2$有一个为0，另一个为1时，$h_{\Theta }(x)=g\left(-10\right)$，结果同样约等于0。我们可以得到如下结果：

  所以这样一个模型实现了$h_{\Theta }(x)\approx {\text{x}}_1\text{AND}{\text{x}}_2$。我们也可以看出，模型参数的值时可以更改的，能够实现功能就可以。

(二)实现x1 OR x2

  OR运算是只要两者有一个或两个为1时结果就为1。我们使用如下的神经网络模型实现：

  原理和AND相同，可以自行验证。

(三)实现 NOT (x)

  NOT运算是输入为0则输出1，输入为1则输入0。我们使用如下的神经网络模型实现：

(四)实现(NOT x1) AND (NOT x2)

  分析一下就可以得到，当且仅当x1和x2都为0时，输出才为1。我们使用如下的神经网络模型实现：

(五)实现x1 XNOR x2

  我们实现以上四个功能一方面是为了熟悉神经网络运行过程，一方面就是为了实现XNOR功能。XNOR可以用以下组合表示出来：
  $\text{XNOR}=({\text{x}}_1,\text{AND},{\text{x}}_2)\text{OR}\left(\left(\text{NOT},{\text{x}}_1\right)\text{AND}\left(\text{NOT},{\text{x}}_2\right)\right)$
  先对x1和x2实现AND运算，再对NOT x1和NOT x2 实现AND运算，最后对两者进行OR运算，方法就是将上述介绍的实现过程组合起来，如图：

  另外说明，XNOR运算不能像前面介绍的四个一样只用两层就能实现。由此我们初步感受了神经网络模型的运行过程。最后了解一下神经网络模型处理多分类问题是如何实现的。

(六)多类分类(Multiclass Classification)

  结合上图进行说明。假设我们要实现一个区分行人、汽车、摩托车和卡车的功能，我们希望输出值是一个4维的向量，对应位置为1(或者是值最大的)说明预测结果为对应的物体。要想实现这样的输出对输入也有要求，我们要求输入也是4维的，对应的物体处标为1，其余标为0。例如，当第一个数字为1时对应行人，第二个数字为1的时候对应汽车，以此类推。