神经网络与深度学习笔记(二)

第二章 反向传播算法如何工作

如何计算代价函数的梯度?——反向传播
反向传播的核心:一个代价函数C关于任何权重w(或者偏置b)的偏导数的表达式。

2.1 热身:神经网络中使用矩阵快速计算输出的方法

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

2.2 关于代价函数的两个假设

第一个假设

这里写图片描述

第二个假设:代价函数可以写成神经网络输出的函数

这里写图片描述
这里写图片描述

2.3 Hadamard 乘积

    Hadamard乘积表示两个矩阵按元素求乘积。
如:
这里写图片描述

2.4 反向传播四个基本方程

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

阅读更多
个人分类: 初学深度学习
上一篇神经网络与深度学习笔记(一)
下一篇神经网络与深度学习笔记(三)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭