![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学专栏
文章平均质量分 86
用于各种数理知识点的总结
等待戈多。
这个作者很懒,什么都没留下…
展开
-
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (二)
近期在阅读论文时,用到里面APG-NAG相关优化器的知识,原论文方法采用mxnet去实现的,在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。在之前文章APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)详细推导了APG,本篇将讲述NAG和APG结合的实现。原创 2022-10-18 22:40:15 · 1658 阅读 · 0 评论 -
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)
近期在阅读Data-Driven Sparse Structure Selection for Deep Neural Networks论文时,用到里面APG-NAG相关优化器的知识,原论文方法采用mxnet去实现的,在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。原创 2022-10-18 00:25:04 · 4768 阅读 · 1 评论 -
算法的时间复杂度-总结
文章目录前言一、什么是时间复杂度?一种简单粗暴衡量算法时间复杂度的方法(事后统计)通过预先估算来得到算法复杂度的方法(事前分析)时间复杂度概念[1]二、时间复杂度求解具体步骤常见法则总结前言假定有两个算法,都能实现相同功能(算法均正确),那么如何判断这两个算法孰优孰劣?可通过分析算法的时间复杂度来判断:分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级,在很大程度上能很好反映出算法的优劣与否。因此,作为程序员,掌握基本的算法时间复杂度分析方法是很有必要的。一、什么是原创 2021-10-17 21:35:11 · 2768 阅读 · 0 评论 -
信赖域算法-The Dogleg Method(含例题及Python实现)
文章目录前言一、What is The Dogleg Method?信赖域算法原理Dogleg Method 方法信赖域算法流程二、How to use The Dogleg MethodQuestion代码实现总结前言最近在上王晓老师的最优化算法课程。课程偏硬核。记录作业中信赖域算法中狗腿(The Dogleg)方法的实现。一、What is The Dogleg Method?信赖域算法原理把minf(x,y)minf(x,y)minf(x,y)转化为一维求步长sks_ksk问题。其中sk原创 2021-10-17 19:27:57 · 7953 阅读 · 2 评论 -
数学基础-泰勒定理
文章目录数学基础-拉格朗日中值定理一元泰勒定理扩展到多元的泰勒定理数学基础-拉格朗日中值定理可通过该图理解拉格朗日中值定理一元泰勒定理泰勒公式参考自百度百科:为了方便理解,可以看如下的图扩展到多元的泰勒定理这里上式(2.2)可以理解为ppp是方向的向量,函数fff从xxx到x+px+px+p的变化就是函数fff在某一点的梯度值和方向向量ppp相乘(内积)。该点介于(x,x+tp),t∈(0,1)(x,x+tp),t \in (0,1)(x,x+tp),t∈(0,1)之间。但式(2.3原创 2021-09-23 23:30:34 · 917 阅读 · 0 评论 -
数理知识-求导篇-基础求导知识
数理知识-求导篇-基础求导知识文章目录数理知识-求导篇-基础求导知识前言一、导数的定义二、基本初等函数的导数三、复杂导数的运算可参考前言机器学习及深度学习领域的数理推导总会用到很多求导的理论知识,出现的频率非常高。因此汇总一些求导的知识非常重要。一、导数的定义导数(Derivative),也叫导函数值。又名微商,是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作原创 2021-07-19 16:08:15 · 1243 阅读 · 0 评论 -
数理知识-矩阵篇-矩阵/向量求导
矩阵求导文章目录矩阵求导前言一、矩阵1.观前提醒可参考前言最近在看机器学习及神经网络等领域相关文章时,总是难以手撕矩阵求导类的公式,因此做个系统的与矩阵求导相关的总结与学习。一、矩阵1.观前提醒本篇中,所有使用的小写未加粗字母均为标量,例如xxx;所有小写加粗字母为(列)向量,例如x;所有大写字母均表示为矩阵,例如X。## 2.读入数据<font color=#999AAA >代码如下(示例):```cdata = pd.read_csv( 'https:原创 2021-07-19 15:40:25 · 614 阅读 · 4 评论