数据结构——Sigmoid函数及其梯度
为了方便表述,对于作用于矩阵的激活函数,本文中如果无特殊说明,表示它分别作用于矩阵的每个元素,即f(X)i,j=f(Xi,j)。如果没有非线性函数作为激活函数,那么无论多层感知机(MLP)有多少层,都相当于没有隐藏层。比如,具有一个隐藏层的多层感知机y=f2(f1(X×A)×B),如果f1(x)=kx+b,即它是一个线性函数,我们将其带入公式中可以得到y=f2((kX×A+b×1)×B)=f2(kX×A×B+b×1×B),其中1表示所有元素都是1的矩阵。
原创
2023-05-21 22:09:58 ·
833 阅读 ·
0 评论