目录
想法
用计算机的方式表示各个神经元,模仿生物的大脑。
用数据表示各个神经细胞,用函数表示神经细胞间的传递过程。
数学表达
其中的
x1, x2
x
1
,
x
2
表示原始数据,
a(2)1
a
1
(
2
)
表示第二个激活层的第一个单元
由原始数据向激活层传递的过程表示为
a(2)1=g(θ(1)10x0+θ(1)11x1+θ(1)12x2)
a
1
(
2
)
=
g
(
θ
10
(
1
)
x
0
+
θ
11
(
1
)
x
1
+
θ
12
(
1
)
x
2
)
上式中的
θ(j)ik
θ
i
k
(
j
)
表示为从第 j 层中的第 k 个单元向第 j+1 层中第 i 个单元传递的权值
其中的假设函数
hθ(x)=a(2)1
h
θ
(
x
)
=
a
1
(
2
)
对于再复杂一些的网络如下图:
则有
a(2)1=g(θ(1)10x0+θ(1)11x1+θ(1)12x2+θ(1)13x3)
a
1
(
2
)
=
g
(
θ
10
(
1
)
x
0
+
θ
11
(
1
)
x
1
+
θ
12
(
1
)
x
2
+
θ
13
(
1
)
x
3
)
a(2)2=g(θ(1)20x0+θ(1)21x1+θ(1)22x2+θ(1)23x3)
a
2
(
2
)
=
g
(
θ
20
(
1
)
x
0
+
θ
21
(
1
)
x
1
+
θ
22
(
1
)
x
2
+
θ
23
(
1
)
x
3
)
a(2)3=g(θ(1)30x0+θ(1)31x1+θ(1)32x2+θ(1)33x3)
a
3
(
2
)
=
g
(
θ
30
(
1
)
x
0
+
θ
31
(
1
)
x
1
+
θ
32
(
1
)
x
2
+
θ
33
(
1
)
x
3
)
hθ(x)=a(3)1=g(θ(2)10a(2)0+θ(2)11a(2)1+θ(2)12a(2)2+θ(2)13a(2)3)
h
θ
(
x
)
=
a
1
(
3
)
=
g
(
θ
10
(
2
)
a
0
(
2
)
+
θ
11
(
2
)
a
1
(
2
)
+
θ
12
(
2
)
a
2
(
2
)
+
θ
13
(
2
)
a
3
(
2
)
)
实现过程
神经网络的实现方式可以选择一组基本操作(如:加减法),再通过这一组基本操作求解复杂过程的解(如:解一元一次方程)
机器学习视频中讲述的是通过构造与、或、非三个基本的逻辑运算,并用这些简单的神经网络构造异或运算