图像拼接|具有直线结构保护的网格化图像拼接

最新推荐文章于 2022-10-22 16:12:59 发布

金渐层猫

最新推荐文章于 2022-10-22 16:12:59 发布

阅读量904

点赞数 3

分类专栏：图像拼接

本文链接：https://blog.csdn.net/weixin_43917574/article/details/112221695

版权

图像拼接专栏收录该内容

5 篇文章 2 订阅

订阅专栏

图像拼接|具有直线结构保护的网格化图像拼接

前言

前言

参考 具有直线结构保护的网格化图像拼接 这篇论文的方法，在NISwGSP算法框架上新增直线保持项，保护典型的直线结构不被弯曲。
He C, Zhou J . Mesh-based image stitching algorithm with linear structure protection[J]. Journal of Image and Graphics, 2018, 23(7): 973-983. [何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018, 23(7): 973-983.][DOI: 10.11834/jig.170653]

代码地址 NISwGSP_line. 喜欢的朋友给个⭐哦

直线保持项

由于人眼对直线结构较为敏感，而NISwGSP网格优化算法的相似性变换会将直线弯曲，造成不佳的视觉效果，因此新增直线保持项，对典型的直线结构进行保护。新增的直线保持项如下：
$E_l({\rm V}) = \sum^N_{i=1}\sum_{l^i_j\in {\rm L}_i}\sum_{l_{k}\in {l}^{i}_j}\| \tilde{v}(l_k)-((1-a)\tilde{v}(l_u)+a\tilde{v}(l_v))\| ^2$ 其中， ${\rm L}_i$ 表示第 $i$ 张图片的所有直线集合， ${l}^i_j$ 表示 ${\rm L}_i$ 中第 $j$ 条直线， ${l}_k$ 表示 ${l}^i_j$ 上的采样点（除去起点 ${l}_u$ 和终点 ${l}_v$ ）。 $\tilde{v}(l)$ 表示采样点所在网格的四个顶点的双线性插值表达，和对齐项相同。 $a$ 为采样点在直线局部坐标系下的1维坐标。

关键代码

prepareLinePreservingTerm()

void MeshOptimization::prepareLinePreservingTerm(vector<Triplet<double> > & _triplets,
												 vector<pair<int, double> > & _b_vector) const {
	if (line_preserving_equation.second) {
		const vector<vector<vector<InterpolateVertex> > > & line_interpolation = multi_images->getLineMeshInterpolation();
		const vector<vector<vector<double> > > & line_term_u = multi_images->getLineTermU();
		const vector<int> & images_vertices_start_index = multi_images->getImagesVerticesStartIndex();

		int eq_count = 0;
		for (int i = 0; i < multi_images->images_data.size(); i++) { //每幅图片
			const vector<Indices> & poly_vertices_index = multi_images->images_data[i].mesh_2d->getPolygonsIndices();
			for (int j = 0; j < line_interpolation[i].size(); j++) { //每条线
				for (int k = 1; k < line_interpolation[i][j].size() - 1; k++) { //采样点
					for (int dim = 0; dim < DIMENSION_2D; ++dim) {
						for (int p = 0; p < multi_images->images_data[i].mesh_2d->getPolygonVerticesCount(); ++p) {
							_triplets.emplace_back(line_preserving_equation.first + eq_count + dim,
												   images_vertices_start_index[i] + dim + DIMENSION_2D * (poly_vertices_index[line_interpolation[i][j][k].polygon].indices[p]),
												   line_interpolation[i][j][k].weights[p] * line_preserving_weight);
							_triplets.emplace_back(line_preserving_equation.first + eq_count + dim,
												   images_vertices_start_index[i] + dim + DIMENSION_2D * (poly_vertices_index[line_interpolation[i][j].front().polygon].indices[p]),
												   -(1 - line_term_u[i][j][k]) * line_interpolation[i][j].front().weights[p] * line_preserving_weight);
							_triplets.emplace_back(line_preserving_equation.first + eq_count + dim,
												   images_vertices_start_index[i] + dim + DIMENSION_2D * (poly_vertices_index[line_interpolation[i][j].back().polygon].indices[p]),
												   -line_term_u[i][j][k] * line_interpolation[i][j].back().weights[p] * line_preserving_weight);
						}
					}
					eq_count += DIMENSION_2D;
				}
			}
		}
		assert(eq_count == line_preserving_equation.second);
	}
}