小小何先生的学习之旅

  最速下降法利用目标函数一阶梯度进行下降求解，易产生锯齿现象，在快接近最小值时收敛速度慢。Newton法利用了二阶梯度，收敛速度快，但是目标函数的Hesse矩阵不一定正定。于是出现了修正的Newton法，主要是对不同情况进行了分情况讨论。Newton法的优缺点都很突出。优点：高收敛速度（二阶收敛）；缺点：对初始点、目标函数要求高，计算量、存储量大（需要计算、存储Hesse矩阵及其逆）。拟Newton法是模拟Newton法给出的一个保优去劣的算法。共轭梯度法是介于最速下降法和牛顿法之间的一个方法，相比最速下

线性空间的概念线性空间线性空间的例子，基底、坐标基变换与坐标变换子空间及生成方式维数定理子空间和维数定理线性空间中的线性变换线性变换的矩阵...

内积空间的基本概念定义2.1：设VVV是实数域PPP上的线性空间，如果对于VVV中任意两个元素α\alphaα，β\betaβ都有一个实数(α,β)(\alpha, \beta)(α,β)与它们对应，并且满足下面的四个条件，则(α,β)(\alpha,\beta)(α,β)称为元素α\alphaα,β\betaβ的内积：1）：对于任意的α,β\alpha,\betaα,β:(α,β)=(β...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  相似变换是矩阵的一种重要的变换，本章研究矩阵在相似变换下的简化问题，这是矩阵理论的基本问题之一。这种分解简介形式在许多领域中都有重要的作用。  在开始之前说一下矩阵的...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  我们曾经用内积定义了向量空间中一个元素的长度，它是几何长度的推广，利用这个长度的概念我们可以讨论极限、逼近的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、非...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！矩阵的对角分解定理5.1 AAA为正规矩阵的充要条件是：存在酉矩阵QQQ,使得：QHAQ=Λ，Λ=diag(λ1，λ2，⋅，λn)Q^{H}AQ= \Lambda...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！矩阵的微分和积分  定义：以变量ttt的函数为元素的矩阵A(t)=(aij(t))m×nA(t)=(a_{ij}(t))_{m \times n}A(t)=(aij​(t...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  矩阵特征值是矩阵的重要参数之一。从前面的讨论可以看到，把矩阵对角化或者求矩阵的约当标准形、判别矩阵的收敛，以及矩阵函数的性质都与特征值有关。当矩阵的阶数高于五次时，没有...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！...

本文首发于公众微信号-AI研究订阅号。  在最优化中，目标函数和约束函数皆为线性函数的优化问题称为线性规划（LP），它是相对简单的最优化问题。标准形式线性规划：  如下形式的线性规划记2-1：min⁡∑j=1ncjxj s.t. ∑j=1naijxj=bi,i=1,2,⋯ ,mxj≥0,j=1,2,⋯ ,n}\left.\begin{array}{ll}{\...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！问题描述  标准线性规划的容许集是凸多面体，有有限个极点，若有容许解，则必有基本容许解；若有最优解，则必有最优基本解。由此看来，为求最优解，只须关心基本容许解。又因为基本...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。  最速下降法利用目标函数一阶梯度进行下降求解，易产生锯齿现象，在快接近最小值时收敛速度慢。Newton法利用了二阶梯度，收敛速度快，但是目标函数的Hesse矩阵不一定正定。于是出现了修正的Newton法，主要是对不同情况进行了分情况讨论。最速下降法  最速下降法是最早的求解多元函数极值的数值方法...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。基本思想  之前文章最速下降法、Newton法、修正Newton法介绍的最速下降法存在锯齿现象，Newton法需要计算目标函数的二阶导数。接下来介绍的共轭方向法是介于最速下降法和Newton法之间的一种方法，它克服了最速下降法的锯齿现象，从而提高了收敛速度；它的迭代公式也比较简单，不必计算目标函数的...

  Newton法的优缺点都很突出。优点：高收敛速度（二阶收敛）；缺点：对初始点、目标函数要求高，计算量、存储量大（需要计算、存储Hesse矩阵及其逆）。拟Newton法是模拟Newton法给出的一个保优去劣的算法。  拟Newton法是效果很好的一大类方法。它当中的DFP算法和BFGS算法是直到目前为止在不用Hesse矩阵的方法中的最好方法。基本思想  考虑Newton迭代公式xk+1=...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。  步长加速法是由Hooke和Jeeves（1961年）给出的一种直接方法。对于变量数目较少的无约束极小化问题，这是一个程序简单又比较有效的方法。基本思想  步长加速法主要由交替进行的“探测搜索”和“模式移动”组成。前者是为了寻找当前迭代点的下降方向，而后者则是沿着这个有利的方向寻求新的迭代点。...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。  在数据处理中，经常遇到寻求回归方程的问题，即根据一组实验数据，建立两个或多个物理量(舒称因素)之间的在统计意义上的依赖关系式。引言  最小二乘模型可以解决两类实际问题。  第一类问题：在数据处理中经常遇到寻求回归方程的问题，即根据一组实验数据建立两个或多个物理量（俗称因素）之间的在统计意义上...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。  之前讨论的是无约束最优化方法，这一节主要介绍的是带有约束的非线性规划问题，所谓的非线性规划，就是约束项里面不仅有等式约束，还有不等式约束。解这类问题有两种方法，一个是容许方向法、它是一种直接处理约束的方法；另一个是罚函数法，它是将约束问题转变成一系列无约束问题，用无约束的极小点去逐渐逼近约束问题的...

本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！算法：已知：约束问题：minf(x);s.t.  si(x)≥0,  i=1,2,⋯ ,m,hj(x)=0,j=1,2,⋯ ,l...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  由于外部罚函数法随着罚因子的增大，增广目标函数的Hesse矩阵条件变得越来越坏，从而导致在实际计算中，数值计算的稳定性变得越来越差，难以精确求解，乘子法是在约束问题的L...

我的微信公众号名称：AI研究订阅号微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！无约束最优化方法  无约束最优化方法分为两大类：一类是使用导数的方法，它是依据目标函数的梯度(即一阶导数)，有时还要根据Hesse矩阵(即二阶导数)所提供的信息而构造...