本文主要介绍了神经网络的基础知识，包括神经元模型、激活函数及其优缺点、全连接前向网络的工作原理以及如何训练多层神经网络。讨论了不同激活函数在分类任务中的应用，并提出了神经网络的表达能力，尤其是深度神经网络的重要性。
神经网络
对一个神经元建模
对于一个神经元而言，图中 x 0 , x 1 , x 2 x_0,x_1,x_2 x0,x1,x2是输入， w 0 , w 1 , w 2 w_0,w_1,w_2 w0,w1,w2是输入对应的权重（反映了输入刺激的强度），胞体求得输入的加权和，并加上一个偏置 b b b，再对其作用函数 f f f，得到输出 f ( ∑ i w i x i + b ) f(\sum_iw_ix_i+b) f(∑iwixi+b)。
对于一个神经元的输出，给定一个合适的损失函数，这个神经元就可以作为一个线性分类器。同样，一个神经元也可以用来实现二分类。
Binary Softmax classifier
单个神经元的输出可以转换成概率：
P ( y i = 1 ∣ x i ; w ) = σ ( ∑ i w i x i + b ) P(y_i=1|x_i;w) = \sigma(\sum_iw_ix_i+b) P(yi=1∣xi;w)=σ(i∑wixi+b)
其中， σ \sigma σ是激活函数。
此时，另一类别的概率为
P ( y i = 0 ∣ x i ; w ) = 1 − P ( y i = 1 ∣ x i ; w ) P(y_i=0|x_i;w)=1-P(y_i=1|x_i;w) P(yi=0∣xi;w)=1−P(
最低0.47元/天 解锁文章
扫一扫
5562
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
