一、概述
一个最简单的神经网络,仅包含一个神经元,的模型如下图:
x1,x2,x3表示输入层,输出是h(θ). 看起来和逻辑回归很像吧!
二、神经网络模型
所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:
我们使用圆圈来表示神经网络的输入,标上“+1”的圆圈被称为偏置节点,也就是截距项。
神经网络最左边的一层叫做
输入层
,最右的一层叫做
输出层
(本例中,输出层只有一个节点)。
中间所有节点组成的一层叫做
隐藏层
,因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个
输入单元
(偏置单元不计在内),3个
隐藏单元
及一个
输出单元
。
我们用
表示第
层第
单元的激活值(输出值)。那么计算公式如下:
![\textstyle a^{(l)}_i](https://i-blog.csdnimg.cn/blog_migrate/eb00715caf1fce4417609a63241e296a.png)
![\textstyle l](https://i-blog.csdnimg.cn/blog_migrate/099114e0a79bbd4804c9db32495ff41a.png)
![\textstyle i](https://i-blog.csdnimg.cn/blog_migrate/4a265e882797d0cb98afe05a3253563e.png)
为了简单的表示,我们用
来表示第l层第i个单元的加权和,比如上面的
可以表示为
我们把上面计算步骤叫做前向传播。
下面举几个例子:
1. AND逻辑运算
可以通过上图看出,只有x1和x2同时取1的时候,才返回1,其余都是0
2.OR
3.NOT
4.再看一个复杂的, 亦或运算:
这样就看到 隐藏层在计算抑或运算中的作用了、