霹雳吧啦wz学习笔记1_卷积神经网络补充

误差的计算
3层BP神经网络进行讲解
第一层:输入层,两个节点x1,x2
中间:隐藏层,3个节点,σ表示激活函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
交叉熵损失
在这里插入图片描述
eg:如果是猫和狗可以,输入一张图片,输出要么是猫要么是狗采用softmax输出,只能归于一个类别不可能归于多个类别;如果输入一张图片,输出包括人类和男人,那就不满足概率分布了,因为可能归于人也可能归于男人,那就归于二分类问题了,采用sigmoid输出。
在这里插入图片描述
误差的反向传播
在这里插入图片描述
在这里插入图片描述
权重的更新
在这里插入图片描述

在这里插入图片描述
优化器
优化器的作用是:使网络得到更快的收敛

在这里插入图片描述

SGD优化器:就是使用分批次样本进行求解
在这里插入图片描述
2. SGD+Momentum优化器
在这里插入图片描述
3. Adagrad优化器在这里插入图片描述

在这里插入图片描述
5. Adam优化器
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值