PyTorch第二讲：MNIST“手写数字问题”的数学知识

课程：https://www.bilibili.com/video/BV1Rv411y7oE?p=7  P6-P7

对于一个28*28=784个像素格的图片X（维数是[1,784]，我们令这个784表示为dx），设置3层嵌套的线性回归：

其中d1是H1层的维度（即经过H1层后输出的节点个数），d2是经过H2层后输出的节点个数，10是经过H3层后输出的节点个数（为什么是10呢：因为要识别0~9个数字，所以设定最后是10个节点，每个节点的数字表示识别为每个数字的概率）。

所以得到表达式：

但是这样的式子终归是线性表达，而人要想从手写数字中识别数字，就应该用有非线性的因子。因此在每一层中间加入一个非线性因子（激活函数）。

常见激活函数：

1.Sigmoid