深度学习入门：神经网络

1.从感知机到神经网络

将$$y=\{\begin{array}{r}0(w_1{x}_1+w_2{x}_2+b\le 0)\\ 1(w_1{x}_1+w_2{x}_2+b>0)\end{array}$$进一步简化，得到：$y=h(b+w_1{x}_1+w_2{x}_2)$,其中$$h(x)=\{\begin{array}{r}0(x\le 0)\\ 1(x>0)\end{array}$$
这里$h(x)$即被称作激活函数，上面选择的是阶跃函数。

2.激活函数

2.1$sigmoid$函数

定义：$$h(x)=\frac{1}{1+e^{-x}}$$
实现：

def sigmoid(x):
	return 1/(1+np.exp(x))

2.2阶跃函数

实现：

def step_function(x):
	y = x>0
	return y.astype(np.int)

2.3$ReLU$函数

定义：
$$h(x)=\{\begin{array}{r}x(x>0)\\ 0(x\le 0)\end{array}$$
实现：

def relu(x):
	return np.maximum(x, 0)

3.神经网络的内积

如图所示的神经网络：

$x_1$对$y_1,y_2,y_3$的权重分别为$1,3,5$,$x_2$对$y_1,y_2,y_3$的权重分别为$2,4,6$,那么信号传递到$y_1,y_2,y_3$就分别应为:
$$\begin{gathered} y_1=x_1\cdot 1+x_2\cdot 2 \\ {y}_2=x_1\cdot 3+x_2\cdot 4 \\ {y}_1=x_1\cdot 5+x_2\cdot 6 \end{gathered}$$
用矩阵表示为：
$$\left(\begin{array}{ccc}{y}_1& y_2& y_3\end{array}\right)=\left(\begin{array}{cc}{x}_1& x_2\end{array}\right)\cdot \left(\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right)$$
用$numpy$实现：

x = np.array([1, 2])
w = np.array([[1,3,5],[2,4,6]])
y = np.dot(x, w)

4.输出层的设计

$softmax$函数

定义：
$$y_k=\frac{e^{a_k}}{\sum _{i=1}^n{e}^{a_i}}$$
实现：

def softmax(a):
	c = np.max(a)
	exp_a = np.exp(a - c)    #防止溢出
	exp_sum = np.sum(exp_a)
	y = exp_a/exp_sum
	return y