神经网络
神经网络算法的目的
- Logistic回归和线性回归很难或者不能处理复杂的非线性分类问题。
- 很多分类问题需要使用数量巨大的特征,如果要使用二次项表示,会产生更多的特征项。
模型表示
神经元——逻辑单元
如图所示,是一个人工的神经元,它负责将输入信息进行加工之后输出。
其中,第一部分代表的是输入,
x
0
=
1
x_0=1
x0=1为偏置单元;第二部分是神经元,对于输入使用激励函数进行加工;第三部分是输出。
激励函数为:
g
(
z
)
=
1
1
+
e
z
g(z)=\frac{1}{1+e^z}
g(z)=1+ez1
神经网络
- 神经网络也就是神经元的集合。
图中第一部分为输入层,第二部分为隐藏层,第三部分为输出层。
这个表示法中神经元中的数字代表该神经元计算之后的输出值。 - 计算过程为:
以第二层为例:
输入:
[ x 0 x ] \begin{bmatrix}x_0\\x\end{bmatrix} [x0x]
输入加上权重:
z ( 2 ) = θ 1 [ x 0 x ] z^{(2)}=\theta_1\begin{bmatrix}x_0\\x\end{bmatrix} z(2)=θ1[x0x]
在神经元中经过激励函数加工:
a ( 2 ) = g ( θ 1 [ x 0 x ] ) a^{(2)}=g(\theta_1\begin{bmatrix}x_0\\x\end{bmatrix}) a(2)=g(θ1[x0x])
这种计算过程又被称作前向传播。