书籍参考
参考英文在线书籍 Neural Networks and Deep Learning 第一章。
介绍
为了解神经网络,我们从基本单元开始。为了解基本单元(神经元),我们从感知器和sigmoid神经元开始。对神经网络有了概念之后,我们再探究它如何利用训练数据学习。
注:为了编辑方便,文中变量可能跟插图公式不一致,用大写字母表示矢量,小写字母表示标量,下标T表示转置。
一、感知器(Perceptrons)
感知器是一种人工神经元。下图是一个感知器,可以理解为一个函数f(X),根据输入参数计算输出结果。下图感知器的输入参数有三个:x1,x2,x3,输出参数仅有一个,且只可能是0或1. 它是怎么计算的呢?
给一组输入参数x1,x2,x3(矢量形式可表示为X),感知器会对每个xj乘以一个权重,将乘积加一起,权重值分别为w1,w2,w3(矢量形式可表示为W),故乘积加在一起(加权和)为sum = ∑wjxj = WX。其中,权重存储于感知器,有多少输入参数xj就有多少权重值wj。另外感知器还存储一个阈值threshold,加权和sum跟阈值threshold的大小关系决定输出。输出公式很简单:
当sum > threshold时,输出1;
当sum <= threshold时,输出0.
白话说就是,当输入参数的加权和大于阈值时,输出1,否则输出0.
1. 感知器模型举例
假如你想明天请假不想上班,但没下决定,考虑如下3个问题:
- 明天天气是否好?
- 明天身体状况是否好?
- 明天是否有重要会议?
感知器可以帮你做决定!假设上述每个问题的肯定回答是1,否定回答是0。将3个回答作为感知器入参,感知器对每个入参赋予一个权重。
假设权重分别为3,4,2,上班阈值为4(大于4才上班)。此时身体状况对你决策的影响最大,天气其次,重要会议最后。
先看一种情况:天气好,身体状况不好,没有重要会议。
此时,加权和为3 + 0 + 0 = 3 < 4,小于上班阈值,所以请假。
再看一种情况&#x