非线性优化
1.非线性优化在求复杂函数其实就是在求一个增量xk,当这个增量能满足是||f(x+xk)||的平方达到极小值
2.最速下降法就是目标函数在x附近泰勒展开 然后选取一阶梯度 求得增量的解 解的直观意义非常简单 就是沿着反向梯度方向寻找
3.牛顿法就是在目标函数附近泰勒展开 然后选取二阶梯度 求得增量的解 Hx=-J 但是要求H(海塞)矩阵
4.高斯牛顿法为了解决上述两种方法的不足,先将f(x)进行一阶泰勒展开 然后将展开后的进行最小二乘法构造 求得这个值 但是H矩阵不一定是正定的 所以可能会求不出来
高斯牛顿是一种line search 求解方法 先固定搜索方向 然后在该方向寻找步长
5.为了解决H矩阵不正定的情况,可以加一个信任区域 也就是LM求解
LM求解是trust region ,先固定搜索区域再考虑该区域内的最优点
6.所谓的回环检测,就是检测相机有没有经过同一个地方,也就是要找出两幅图片之间的相似性,主流用的是词袋模型。
1.范数:向量之间的距离,矩阵之间的距离
2.欧式距离:向量的2范数,两点之间的距离
3.汉明距离:两个等长字符串 s1 与 s2 之间的汉明距离定义为将其中一个变为另外一个所
需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为 2