从零开始学深度学习-01

从零开始学深度学习-01

例子以“手写一个输入784，第一层30，第二层60，输出层为10的神经网络,在MINIST数据集上训练，测试。”

1. 神经网络：该神经网络被称为两层神经网络，其具有两层权重W1和W2。中间层也称为隐含层。可以有多个隐含层。但只能有一个输入和输出层。
   隐含层具有激活函数，输出层也具有激活函数，两者可以使用不同的激活函数。
   逻辑回归模型（分类）的激活函数一定是sigmoid（二分类逻辑回归模型），softmax（多分类逻辑回归模型）
   sigmoid 代码实现如下：

def sigmoid(x):
   return 1/(1+np.exp(x)) 

softmax代码实现如下:

def softmax(x):
   Max=np.max(x)
   exp_x=np.exp(x-Max)
   sum_exp_x=np.sum(exp_x)
   y=exp_x/sum_exp_x
   return y