本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记,因此在全文中对它们多次引用。初出茅庐,学艺不精,有不足之处还望大家不吝赐教。
1. Softmax输出层
定义一种新的输出层,对于输出层某一个神经元的权值输入为 zLj ,激活值输出为 aLj ,则Softmax输出层的定义如下
a_j^L=\frac{e^{z_j^L}}{\sum_k{e^{z_k^L}}}\tag{1}\label{1}
为了更好地理解⽅程, 假设我们有⼀个包含四个输出神经元的神经⽹络,对应四个带权输⼊为 zL1,zL2,zL3,zL4 。 这里的条块显⽰带权输⼊的可取值和对应输出激活值的图形。当增大 zL4 的值的时候, aL4 的值也会对应增大,而其他三个神经元的输出值会对应减小; 当减小 zL4 的值的时候,