课程:https://www.bilibili.com/video/BV1Rv411y7oE?p=7 P6-P7
对于一个28*28=784个像素格的图片X(维数是[1,784],我们令这个784表示为dx),设置3层嵌套的线性回归:
其中d1是H1层的维度(即经过H1层后输出的节点个数),d2是经过H2层后输出的节点个数,10是经过H3层后输出的节点个数(为什么是10呢:因为要识别0~9个数字,所以设定最后是10个节点,每个节点的数字表示识别为每个数字的概率)。
所以得到表达式:
但是这样的式子终归是线性表达,而人要想从手写数字中识别数字,就应该用有非线性的因子。因此在每一层中间加入一个非线性因子(激活函数)。
常见激活函数:
1.Sigmoid