数学基础知识
文章平均质量分 94
微积分
线性代数
Mr.RottenPeach
所谓无底深渊,下去,也是前程万里、
展开
-
零阶矩、一阶矩、二阶矩…
《零阶矩、一阶矩、二阶矩…》 数学中矩的概念来自物理学。在物理学中,矩是表示距离和物理量乘积的物理量,表征物体的空间分布。矩在统计学和图像中都有很重要作用,我们常用的Adam优化器其全称为自适应矩估计优化器。本文将介绍各阶矩的理解和不同场景的应用。Key Words:矩的意义、统计矩、图像矩 Beijing, 2020作者:RaySue Code: Agile Pioneer 文章目录意义物理意义数学意义应用概率分布期望方差归一化矩偏态峰度图像矩图像的面积和质心:参考.原创 2020-11-12 15:02:54 · 49175 阅读 · 1 评论 -
矩阵分解SVD
《矩阵分解SVD》 本来是做了一个MobileNetV2中的关于ReLU的一个实验,大体用到的知识是对一个 n∗2n*2n∗2 的矩阵通过 2∗m2*m2∗m 的随机矩阵映射到 n∗mn*mn∗m ,经过ReLU函数后再映射回 n∗2n*2n∗2 ,那么就需要求一个 2∗m2*m2∗m 的随机矩阵的逆矩阵,就涉及到了广义逆矩阵、EVD、SVD的相关知识,考研复习的时候这种问题都非常熟练,但是现在却有点陌生了,确实要学而时习之啊。Key Words:线性代数基础、特征值、特征向量、广义矩阵的逆、S.原创 2020-08-03 15:43:52 · 4439 阅读 · 1 评论 -
牛顿法
《牛顿法》 牛顿法(Newton method)和拟牛顿法(quasi Newton method)是求解无约束最优化问题的常用方法,有收敛速度快的优点。牛顿法是迭代算法,每一步都需求解目标函数的海塞矩阵(Hessian Matrix),计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵,简化了这一计算过程。Key Words:牛顿法、函数零点、最优化 Beijing, 2020作者:RaySue Code: Agile Pioneer 简介 牛顿迭代法.原创 2020-07-16 11:04:10 · 15587 阅读 · 1 评论 -
深度学习优化器演化史
《深度学习优化器演化史》 年初的时候打算换工作来着,随便弄了一份简历,投出去了,面了一家深度学习实力比较强的公司,他们问了我优化器的相关问题,由于没有准备,只是把我所了解的大概讲了一下,我知道回答的肯定不好。现在有时间把这块的内容补习一下。Key Words:Momentum、AdaGrad、Adam… Beijing, 2020 Agile Pioneer Optimizeron-line : one pair of (x, y) at a time step,add ne.原创 2020-05-27 15:38:06 · 3244 阅读 · 0 评论 -
梯度的负方向是损失函数下降最快的方向
《为什么梯度的负方向是损失函数下降最快的方向》 之前从来没有考虑过这个问题如何证明,因为函数某点处的梯度作为一个向量它自身就是指向着某点处变化最大的方向的,所以梯度的负方向肯定是下降最快的方向,但是怎么从理论上给予给力的证明呢,这篇博客来讨论下这个问题。Key Words: ECCV, 2016作者:Code: Agile Pioneer 参考https:/...原创 2020-04-08 10:40:37 · 2041 阅读 · 2 评论 -
算法的微积分基础
《算法的微积分基础》 梯度下降法简单来说就是一种通过导数来寻找目标函数最小化的方法。而对函数求解梯度的过程中就牵扯了很多的数学知识,有很多概念许久不用也有点生疏了,整理一篇博客用于巩固一下数学基础知识。Key Words:导数、偏导数、泰勒级数 Agile Pioneer 数学基础知识Derivative & Taylor SeriesDerivative ...原创 2020-04-07 21:23:27 · 744 阅读 · 0 评论