这篇博客将会聊一些经典的需要opt的一些问题,方便我/大家在将来推导公式并需要优化时可以想到对应的方式进行优化。
如果连公式都推导出来了但是不会求解岂不是很尴尬(不知道可以转化成求解的话连代码都写不了= =)
Question 1
given matrix A and vector b,minimize ||Ax-b||2.(当A的行数大于b的列数时,可能没有满足Ax-b=0)
基础方法x* = (ATA)-1ATb,这种方法是必然可以求解的。这也是最小二乘法的矩阵表示
Question 2
minimize ||Ax||2, s.t. ||x||=1.
solution: let A = UDVT, x = V-1(the last column of V)
这样的方法显得很简单,的确,但是如果A是一个非常大的矩阵比如n*3,n很大,而对A进行SVD所需要的时间消耗时n^3。随着n的增大,求解这个问题将会变得异常的困难。
这个时候应该将式子展开求解 minimize Tr(xTATAx),要求解这个问题,只需要将ATA进行特征值分解,即ATA=QDQ-1,而由于ATA是个对角阵Q-1=QT,让x取对应特征值最小的特征向量即可。这样的方法避免了巨大的矩阵进行SVD分解转而改为一个小矩阵的特征值分解,削减了计算量。