动手学深度学习——矩阵计算

本文介绍了导数的概念及其在梯度下降法中的作用。导数作为切线斜率,是理解函数变化的关键。亚导数用于处理不可微函数,而梯度则将导数拓展到多维空间,表示函数在向量输入下的变化方向。文中通过实例解释了梯度与最优化的关系,指出梯度指向值变化最大的方向。同时,讨论了向量关于标量和向量的导数,以及它们的矩阵表示形式。
摘要由CSDN通过智能技术生成

标量导数

导数的作用主要是进行梯度下降

 

导数是切线的斜率

亚导数

 将导数拓展到不可微的函数

 另一个例子

  梯度

就是将导数拓展到向量

 第一种情况,y是标量,x是向量

 x为列向量,求导完变成行向量。

举例说明:

梯度指向的是你的值变化最大的那个方向,梯度和正交线是正交的。

 样例:a是常数,与x无关的数

 

  第二种情况,x是标量,y是向量

列向量关于标量的导数还是列向量。

 

 这个被称为分子布局符号,反过来的版本叫分母布局符号。

拓展:向量关于向量,结果是一个矩阵

样例:

 

 

 

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值