七月算法(julyedu.com)5 月深度学习班学习笔记-第一节数学基础

关于数学在机器学习中的重要性:

程博是这样说的------

不错,数学是算法的基础,没有好的数学根基是不能触碰到算法的根源,但是我认为一般非数学专业的人适可而止,不要太迷恋数学,我们大部分人,了解微积分、矩阵等就可以了

1.梯度

了解机器学习的同学肯定不陌生这个名词,认为很高大上。其实没那么深奥。归根到底还是求导。。。。



多元求偏导就被定义为梯度(如上)。


对梯度求偏导,我们用列向量表示,H被称为黑塞矩阵。如果函数f

的二阶偏导数连续,则二阶偏导数的求导顺序没有区别,则H为对称矩阵。

2.问求LOSS时为什么梯度是最快的方向?

梯度的几何意义说明了这个问题,即沿梯度方向的方向导数最大.

而方向导数是衡量一个多元函数沿固定方向的变化速率的,所以

沿梯度方向,多元函数增大的速率最大,也就是增加的最快

 a.泰勒公式


给个高数定理吧,不太严谨:对于任意一点,最低阶的非零导数是奇数阶时,不是极值点;最低阶的非零导数是偶数阶时,是极值点,可以通过符号判断是极大值还是极小值.

此泰勒展开是在向量形式下,与标量展开式一一对应。

好了。可以回答为什么梯度方向是最快方向了



 


  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值