误差的计算
3层BP神经网络进行讲解
第一层:输入层,两个节点x1,x2
中间:隐藏层,3个节点,σ表示激活函数
交叉熵损失
eg:如果是猫和狗可以,输入一张图片,输出要么是猫要么是狗采用softmax输出,只能归于一个类别不可能归于多个类别;如果输入一张图片,输出包括人类和男人,那就不满足概率分布了,因为可能归于人也可能归于男人,那就归于二分类问题了,采用sigmoid输出。
误差的反向传播
权重的更新
优化器
优化器的作用是:使网络得到更快的收敛
SGD优化器:就是使用分批次样本进行求解
2. SGD+Momentum优化器
3. Adagrad优化器
5. Adam优化器