ceres这个库,做SLAM会经常接触。在处理非线性优化时,很实用。
看了几个教程,有2种,1.把原文档翻译了一下。2.14讲的搬运。而且都脱离了实际数学的背景。看了也是一直半解。
在我的demo里,是在官网第一个demo的修改,加入了实际场景。但难度不会上升。
大家在中学就接触过最小二乘法。机器学习的线性模型在概率统计课本中也出现过。最好的引入方式,就是从这个最小二乘问题开始。
我们已知,西瓜价格与斤数撑线性关系。并且,我们现在有3个数据:
第一个西瓜:重量1斤 卖了10元
第二个西瓜:重量2斤 卖了20元
第三个西瓜:重量3斤 卖了30元
y
=
w
x
y=wx
y=wx
(可以直接看出w是多少)
我们需要的就是用ceres库来求解一个w.
既然要通过最小二乘法求问题,那就需要先构造代价函数。
代价函数就是预测值和真实值之差。
f
i
=
y
^
i
−
y
i
f_{i}=\hat{y}_{i} -y_{i}
fi=y^i−yi
这里的
f
i
f_{i}
fi就是代价函数。
我们得目的就是要最小化目标函数:
o
b
j
e
c
t
f
u
n
c
t
i
o
n
=
1
2
(
(
10
−
w
)
2
+
(
20
−
2
w
)
2
+
(
30
−
3
w
)
2
)
objectfunction=\frac{1}{2} ((10-w)^{2}+ (20-2w)^{2}+(30-3w)^{2} )
objectfunction=21((10−w)2+(20−2w)2+(30−3w)2)
也就是把每一个误差项对应的代价函数求平方和。
再就是需要明确一些名词。
误差项数量:3 有几组数据,就有几个误差项。
待估计变量:w 也就是需要优化的那个变量。找到一个w使目标函数最小。
#include <iostream>
#include <opencv2/core/core.hpp>
#include <ceres/ceres.h>
#include <chrono>
using namespace ceres;
using namespace std;
//这里重载了(),是一个仿函数。注意如果costfunction有r维,那么这里需要写的就不只有residual[0]了,需要继续写,一直写到residual[r-1]
//第一步骤就是重载我们需要的代价函数
struct CostFunctor {
CostFunctor ( double x, double y ) : _x ( x ), _y ( y ) {}
template <typename T>
bool operator()(
const T* const w,
T* residual) const
{
residual[0] = T(_y) - T(_x)*w[0];//这里就是每一个误差项。所有误差项都是相同的格式,所里只需要写1次。
return true;
}
const double _x, _y;
};
int main(int argc, char** argv) {
google::InitGoogleLogging(argv[0]);
//1)初始操作
//1.1设定待估计变量及其初始值
double initial_w = 2.0;
double w[1] = {initial_w};//虽然本次优化变量只有1个,这里还是使用数组的形式。如果这里是多元线性回归或者其他多元优化,直接在里面添加数字。
//1.2生成数据
int N=3;//数据量
vector<double> x_data, y_data;
cout<<"generating data: "<<endl;
double X=1;
double Y=0;
for ( int i=0; i<N; i++ )
{
x_data.push_back ( X );
y_data.push_back ( Y=10*X );
cout<<x_data[i]<<" "<<y_data[i]<<endl;
X=X+1;
}
//2)构建最小二乘问题
Problem problem;
//3)设定CostFunction
//向构建的problem添加ResidualBlock,也就是误差项,如果有i个误差项,那么就添加i次。这个i=1,那么就添加1次。
//参数意义一次为,cost_function类型,核函数类型,待估计的变量
//注意每个误差项可以有不同的cost_function,
for ( int i=0; i<N; i++ )
{
problem.AddResidualBlock (
// 使用自动求导<误差函数类型,输出维度r,s_1> r换句话说是1个标签的纬度。这里每一个西瓜只有1个价格,所以就是1维。 多维输出,比如不仅要预测西瓜的价格 还需要预测西瓜的种子数,那么输出也是一个向量。此时r就要填2
new ceres::AutoDiffCostFunction<CostFunctor, 1, 1> ( //s_1是待估计变量的数量。我们只有1个w
new CostFunctor ( x_data[i], y_data[i] ) //每一个误差项都是由数据决定的。
),
NULL, // 核函数,这里不使用,为空
w // 待估计参数
);
}
//4)配置求解器
Solver::Options options;
options.linear_solver_type = ceres::DENSE_QR;
options.minimizer_progress_to_stdout = true;
Solver::Summary summary;
Solve(options, &problem, &summary);
std::cout << summary.BriefReport() << "\n";
std::cout << "x : " << initial_w
<< " -> " << w[0] << "\n";
return 0;
}
Cmake
cmake_minimum_required(VERSION 2.6)
project(cerestutorials1)
set( CMAKE_BUILD_TYPE "Release" )
set( CMAKE_CXX_FLAGS "-std=c++11 -O3" )
# 添加cmake模块以使用ceres库
list( APPEND CMAKE_MODULE_PATH ${PROJECT_SOURCE_DIR}/cmake_modules )
# 寻找Ceres库并添加它的头文件
find_package( Ceres REQUIRED )
include_directories( ${CERES_INCLUDE_DIRS} )
add_executable(cerestutorials1 main.cpp)
# 与Ceres和OpenCV链接
target_link_libraries( cerestutorials1 ${CERES_LIBRARIES} )
install(TARGETS cerestutorials1 RUNTIME DESTINATION bin)
你可能会有疑问,为啥没在code中找到目标函数的实现??只有1个评价误差的代价函数?
原因就在于最小二乘法已经集成在ceres里。我们只需要重构好需要的代价函数便可。