深度学习(1)—基于梯度优化的理解
对基于梯度优化的理解:
y_pred=relu(dot(W,X)+b)y\_ pred=relu(dot(W,X)+b)y_pred=relu(dot(W,X)+b)
训练过程
抽取训练样本x和相应目标y组成数据批量
在x上运行网络(前向传播),得到预测值y_pred
计算网络在这批数据上的损失,用于衡量y_pred和y之间的距离
更新网络的所有权重,使网络在这批数据上的损失略微下降
训练的过程就是得到合适的W和b,使得y_pred与y之间的距离非常小。但是如何更新网络权重W???
考虑一个权重wiw_
原创
2021-01-26 22:15:33 ·
377 阅读 ·
0 评论