关注
分享
本专栏以数学优化为核心，包括理论、工具和应用。应用主要包含机器学习、数据挖掘和人工智能等领域。
TangowL
这个作者很懒，什么都没留下…
展开
-
Matlab中凸优化工具包CVX的安装、注册与使用
我们从最新版本cvx 3.0的安装、注册和实例讲起，对自己最新文章中的一个算法进行验证。原创 2016-05-18 10:46:40 · 62521 阅读 · 48 评论 -
数学优化入门：凸优化
做科研时，曾花了段时间学习凸优化，后来发现ML中其应用也非常普遍，想来今后可能还会接触，干脆做个系统的总结，方便以后查询。博文内容主要参考Boyd（Stanford）的Convex Optimization，配套的slides，以及部分网络材料，感兴趣的朋友可以一起学习探讨。1、前言凸优化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。虽然条件苛刻，但应用广泛...原创 2016-10-18 11:10:50 · 35999 阅读 · 21 评论 -
数学优化入门：梯度下降法、牛顿法、共轭梯度法
1、基本概念1.1 方向导数1.2 梯度的概念 因此，对于一元函数，即y=f(x)，其梯度的方向总是指向x轴正方向或反方向，而大小即该点的导数。如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底有多陡。对于含有n个变量的标量函数，其梯度表示为 1.3 梯度与方...原创 2016-10-13 19:45:43 · 29479 阅读 · 8 评论 -
矩阵的特征值分解与奇异值分解的几何意义
1、首先，矩阵可以认为是一种线性变换：确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b，这个过程中，线性变换的作用包含三类效应：旋转、缩放和投影。2、奇异值分解体现了对线性变换这三种效用的一个析构。 在中，U的列向量组成了一组标准正交基，V的列向量也是，这表示我们找到了U和V这两组基，A矩阵的作用是将一个向量从V原创 2016-07-22 15:02:47 · 10073 阅读 · 5 评论 -
常用的向量矩阵求导公式
总结下数理推导中常用的向量矩阵求导公式，方便以后查询。原创 2016-10-14 14:29:06 · 83488 阅读 · 20 评论 -
矩阵形式的MMSE算法推导
矩阵形式的MMSE算法推导原创 2016-03-12 22:00:13 · 24642 阅读 · 8 评论