神经元构成
z
=
s
u
m
(
x
)
=
w
T
x
+
b
=
w
1
x
1
+
w
2
x
2
+
w
3
x
3
+
b
z=sum(x) = w^Tx+b=w_1x_1+w_2x_2+w_3x_3+b
z=sum(x)=wTx+b=w1x1+w2x2+w3x3+b
a
=
g
(
z
)
=
1
/
(
1
+
e
−
z
)
a=g(z)= 1/(1+e^{-z})
a=g(z)=1/(1+e−z)
每一个神经元可以认为就是一个简单的逻辑回归分类器。
基本结构
输入层 --> 隐藏层 --> 输出层
输入层和隐藏层中的每个神经元之间的连接权重,构成了该神经元的表达内容,可以将Neural Network 看做是若干个,弱的线性分类器的组合。
简单思考
根据神经元的定义,可以简单的认为,逻辑回归就是一个浅的神经网络。
神经网络并不是一个新的概念,以此为基础的各种深度神经网络在CV、NLP等领域都取得了成功。除了算力和数据量的支撑之外,它还满足原理简单(尽管其中间过程仍然是一个黑盒,但思想是简单清晰的就是弱分类器的组合)的特点,分层、连接组合的方式符合人类行为的思维原则(两个简单步骤完成一件事,比一个复杂的步骤要轻松)。类似的思想在传统机器学习的领域也是适用的,如各类集成学习的模型仍然在工业界被广泛使用。