FireMicrocosm的专栏

在众多科学与工程学科，如物理、化学工程、统计学、经济学、生物学、信号处理、自动控制、系统理论、医学和军事工程等中，许多问题都可能落脚到求解矩阵方程 Ax=bAx=b。根据数据向量 bb 和数据矩阵 A∈Rm×nA \in \mathbb R^{m \times n} 的不同，矩阵方程有以下三种主要类型： 1. 超定矩阵方程 m>nm > n, 并且数据矩阵 AA 和数据向量 bb 均

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。 目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3