Make Your Own Neural Network(四)-----单个分类器似乎远不够

Make Your Own Neural Network

构建你自己的神经网络

https://blog.csdn.net/lz0499

作者:lz0499


 

声明:

1)Make Your Own Neural Network翻译自Tariq Rashid编写的神经网络入门书籍。作者的目的是尽可能的少用术语和高深的数学知识,以图文并茂的方式讲解神经网络是如何工作的。任何拥有高中数学水平的人就能够理解神经网络的工作方式。强烈推荐初学者以这本书作为神经网络入门书籍。

2)本文仅供学术交流,非商用。翻译的初衷是一边翻译一边加深对神经网络的理解。

3)由于刚刚接触神经网络这方面的知识,翻译过程中难免有些错误。若发现错误,还请各位前辈指正。谢谢!

4)由于工作原因,我将有选择的按照原文的章节不定期的进行翻译更新。

5)此属于第一版本,若有错误,还需继续修正与增删。


目录:

第一部分:神经网络是如何工作的

一种简单的预测机

分类即是预测

训练一个简单的分类器

单个分类器似乎远不够

神经元,自然界的计算机

通过神经网络的信号

矩阵很有用

利用矩阵计算三层神经网络的输出结果

从多个节点更新权重

从多个节点中反向传递误差

多层神经网络层反向传输误差

利用矩阵乘法计算反向传输误差

实际上是如何更新权重(一)

实际上是如何更新权重(二)

权重更新实例


单个分类器似乎远不够

我们之前做的简单的预测器和分类器,能够获取输入数据,经过一系列计算,得到一个输出结果。从当前情况来说,结果还算不错。但是对于一些更具挑战性的问题,这种预测器和分类器可能就无能无力了,这个时候我们希望神经网络能够解决这些问题。

我们将以一个简单的例子说明线性分类器的局限。我们为什么要这么做呢?而不直接讨论神经网络的种种?因为只有理解了神经网络的局限,我们才能更好的设计神经网络。这是值得花点时间学习的。

首先我们从布尔逻辑函数开始。乔治布尔是一名数学家和哲学家。数学历史上以他的名字命名了一系列诸如AND(与函数)、OR(或函数)等布尔逻辑函数。

布尔逻辑函数像一种语言或者说是一种思维方式。例如:如果我说“只有当你吃完了你的青菜,AND你依旧还觉得饿,你才能吃你的甜食”。只有当两种情况下都是真的,布尔函数AND才是真。任何一个条件为假,其结果都是假的。所以,如果我饿了,但是我们有吃完青菜,那么我是不能吃甜食的。

类似的,如果我们说“在周末或者年休假的时候,你可以在公园里玩耍”。我们使用逻辑或函数。只要有一个条件为真,那逻辑或函数即为真。所以,虽然不是在周末,但是我正好休年假,那么我也是可以去公园里玩耍的。

让我们在仔细观察上述的逻辑函数,我们可以认为他们是一个黑盒子,输入一些数据,进行运算,最终输出答案。布尔逻辑函数一般有两个输入,一个输出。

计算机中一般用1代表真,用0代表假。下表中,展示了逻辑与和逻辑或函数的真值表。

输入A

输入B

逻辑与

逻辑或

0

0

0

0

0

1

0

1

1

0

0

1

1

1

1

1

从真值表中我们可以明显的看出,只有当输入A和输入B都为真的时候,逻辑与函数才输出真;只要输入A和输入B中有一个为真,逻辑或函数就输出为真。

如下图所示,以A和B两个输入值为坐标,输入到逻辑与函数中。图中只有输入值都是1时,输出才为真,并用绿色圆圈表示,输出为假用红色表圆圈示。


从图中我们可以看到,一条直线把红色圆圈和绿色圆圈分隔开了。这条直线就像我们之前学习的分类器直线一样。

让我们用同样的方法画出或函数的图例。


这次只有点(0,0)是红色的,因为输入A和B都为假。A和B的其他组合都为真。从图中我们可以看出,线性分类器也是可以从逻辑或函数中得到。

此外,还有一种异或函数(XOR),其真值表如下所示:

输入A

输入B

异或(XOR)

0

0

0

0

1

1

1

0

1

1

1

0

按照之前的方式,我们画出异或逻辑函数的图例:


挑战来了。我们似乎不能有一条直线把绿点和红点分割开来。也就是说,我们不能从异或函数中学习得到简单的线性分类器。

我们刚刚揭示了简单的线性分类器的局限性。如果一个分类问题并不能用一条直线进行分类,那么简单的线性分类器是不能解决这个分类问题的。

我们想利用神经网络解决简单线性分类器不能解决的问题!

怎么办是好!!

我们做些改进。如果一个简单的线性分类器不能解决分类问题,那么我们用两个简单的线性分类器,或者我们使用多个线性分类器组合在一起,解决问题。这就是神经网络的核心思想。以异或逻辑函数为例:

上图中,我们用两个分类直线,把红点和绿点区分开来了。

 

在我们利用多个分类器构建我们的神经网络之前,让我们暂时回顾下动物大脑中的神经网络是如何运行的。







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值