通俗易懂最小二乘法与牛顿法总结:线性与非线性,文末有Python和c++代码编程实践教程

推荐开源项目:简单的SLAM与机器人教程与编程实践-github

今日疯言疯语:
很多算法看不懂大概率是这些算法做出的一些假设你不知道——@Ai酱

线性最小二乘法||Ax-y||可以直接求解

问题:已知A和y,需要求x。并且需要最小化||Ax-y||。
下面是求解x的方法:
Ax=yATAx=ATyx=(ATA)1ATyAx=y \\ A^TAx = A^Ty\\ x = (A^TA)^{-1}A^Ty
之所以要乘个ATA^T是因为A很可能不是方阵,不是方阵是不能求逆的。

非线性最小二乘法需要用牛顿法求解

问题:已知f()表达式和y,需要求x。并且需要最小化f(x)y||f(x)-y||。这个||xx||是指范数的意思,你把它当做是绝对值或者平方就行.而我们知道f(x)y||f(x)-y||的最小值是0,所以我们就是想求f(x)y||f(x)-y||等于0时x的取值。
什么是牛顿法
它是一个用来求某个函数最小值所在点的自变量的值算法。牛顿法这和这里我们需要求解的问题有什么联系。我们就是想求g(x)=f(x)yg(x)=|f(x)-y|这个函数的最小值点的自变量x。如果你还不了解为何要哦用牛顿法,你可以再看看前面的问题描述。

牛顿法思想是怎样的?具体步骤怎么做?

注意:用牛顿法(Newton’s Method)求解一个函数最小值点对应的自变量值时,默认对这个函数有个假设“这个函数的最小值接近于0”。也就是说我们知道这个函数的最小值。但是就是不知道取得最小值时自变量的值。我们要用牛顿法求这个自变量的值。

只要提到牛顿法一定要注意前面这个假设,很多算法看不懂大概率是这些算法做出的一些假设你不知道

我们整理下思路,现在想求g(x)g(x)的最小值点时候对应的x。并且知道g(x)g(x)的最小值是0. 牛顿法的思路是随便先猜最小值点对应的x。然后慢慢修正它直到接近最小值点对应的自变量值。假如我猜是x0x_0。然后怎么修正这个猜测值呢?现在我们已知一个点(x0,g(x0))(x_0,g(x_0)),并且知道在这个点时函数g(x)的导数值g(x0)g'(x_0)。那么我们根据高中学的点斜式就可以写出经过(x0,g(x0))(x_0,g(x_0))这个点的切线方程yg(x0)=g(x0)(xx0)y-g(x_0)=g'(x_0)(x-x_0)。我们可以把这个切线当做g(x)g(x)的近似。前面提到了牛顿法有一个假设(函数g(x)的最小值等于0),现在这个假设开始发挥大作用了。现在yg(x0)=g(x0)(xx0)y-g(x_0)=g'(x_0)(x-x_0)是对g(x)的近似,那么我们可以令函数值y=0求得一个x。把这个x当做最小值点对应自变量值的一个新的猜测。然后重复以上过程直到找到一个变量xnx_n使得g(xn)g(x_n)非常接近于0.此时的xnx_n就是我们要求的g(x)的最小值时对应的自变量的值。

Python编程实践非线性的最小二乘法

假如你需要求sin(x)=0.233时的x的取值。注意x的单位是弧度。虽然你可以调用Python代码里面的arcsin这个函数,但是为何我们不试试自己编程实现arcsin呢?引用某知名网友的话“抱着造轮子的心态学东西(逃”。

我们整理下思路现在的最小二乘法问题就是我们需要求g(x) = |sin(x)-0.233|的最小值所在点的自变量值x
在使用牛顿法前我们不要忘了牛顿法是有个假设的。那就是目标函数g(x)的最小值是0.显然现在我们这个例子是满足的。

第一步:随便猜g(x) 最小值所在点对应的自变量值. 现在我们假设这个自变量值是x0=3.14x0=3.14。所以我们得到了一个点(3.14,sin(3.14)0.233)(3.14, sin(3.14)-0.233)。而且知道这个点的导数值g(3.14)=cos(3.14)g'(3.14)=cos(3.14)。然后我们可以写出经过这个点的切线方程y(sin(3.14)0.233)=g(3.14)(x3.14)y-(sin(3.14)-0.233) =g'(3.14)*(x-3.14)。所以切线方程为y(sin(3.14)0.233)=cos(3.14)(x3.14)y-(sin(3.14)-0.233) =cos(3.14)*(x-3.14)
第二步:将切线看做是原函数g(x)g(x)的一个近似,然后令切线函数值y等于0来修正第一步的猜测值。根据0(sin(3.14)0.233)=cos(3.14)(x3.14)0-(sin(3.14)-0.233) =cos(3.14)*(x-3.14)可以解得x=(sin(3.14)0.233)/cos(3.14)+3.14x=-(sin(3.14)-0.233)/cos(3.14)+3.14。我们可以将这个字作为g(x) 最小值所在点对应的自变量值的一个新的猜测值。
重复上面两步直到g(猜测值)非常接近于0.

下面是Python代码:

'''牛顿法求解非线性最小二乘法
author: @Ai酱
欢迎评论
'''
import math
import random
def g(x0):
    '''
    目标函数在x0处的函数值
    Args:
        x0 自变量:角度,单位是弧度
    '''
    return math.sin(x0) + 0.233

def dg_dx(x0):
    '''
    目标函数g(x)在x0处导数g'(x0)
    Args:
        x0 自变量:角度,单位是弧度
    '''
    return math.cos(x0)
# 1. 为g(x) 最小值所在点对应的自变量值随便猜一个值
x0 = random.random() 

while abs(g(x0)) > 0.001: # 一直迭代直到g(x0)接近0

    # 2. 令切线函数值y=0求得一个x值,将它作为一个新的猜测值修正原先的猜测x0
    new_x0 = x0 - g(x0)/dg_dx(x0)
    x0 = new_x0

print("我们自己写的牛顿法求得的arcsin(0.233)=",x0)

# 我们用python自带的arcsin检验下
print("Python自带的arcsin求得的arcsin(0.233)=",math.asin(0.233))

如果你看不懂Python代码,下面是我写的c++代码:

#include<math.h>
#include<iostream>
using namespace std;
/**
* 返回g(x)在x0处的函数值g(x0)
* params:
* x 自变量:角度,单位弧度
*/
float g(float x0)
{
	return sin(x0) - 0.2333;
}

/** 
* 目标函数g(x)在x0处导数g'(x0)
* params:
*   x0 自变量:角度,单位是弧度
*/
float dg_dx(float x0)
{
	return cos(x0);
}


int main()
{
	// 1. 为g(x) 最小值所在点对应的自变量值随便猜一个值
	float x0 = 1.233;//这个你随便设(由于是弧度所以不要太大)

	while (abs(g(x0)) > 0.001) // 一直迭代直到g(x0)接近0
	{

		// 2. 令切线函数值y = 0求得一个x值,将它作为一个新的猜测值修正原先的猜测x0
		float new_x0 = x0 - g(x0) / dg_dx(x0);
		x0 = new_x0;
	}
	cout << "我们自己写的牛顿法求得的arcsin(0.233)=" << x0 << endl;
	// 我们用c++自带的arcsin检验下
	cout << "c++自带的arcsin求得的arcsin(0.233)=" << asin(0.233) << endl;
	return 0;
}

你的关注和赞是支持我分享易懂教程的最大动力!

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读