三维计算机视觉
相机模型与多视几何
相机标定与稀疏重建
立体视觉三维重建
(1)人脑中的腹部通道进行物体视觉,目前主要采用基于学习的方法
(2)背部通道进行空间的视觉,目前主要采用基于几何的方法
三维视觉中,主体的方法是几何方法,深度学习方法予以辅助
(3)前额皮质,通过信息融合实现高级认知
场景的三维结构和相机的六自由度空间位姿是智能机器人感知,决策,动作的基础信息
计算机视觉框架
三维与二维之间的联系
![b8e989c1ea11924d1f84417e43880c88.png](https://i-blog.csdnimg.cn/blog_migrate/fa9df6b2741b679e8292b7661cb7337c.jpeg)
三维视觉主要是Marr
特征提取 2.5维深度 三维模型
三维视觉研究内容
(1)场景结构 (2)相机位姿(相机参数) 六自由度位姿(位置 朝向)
首先拍摄图像序列,离线重建
核心通过二维图像,获取场景精准三维结构和相机六自由度位姿
![8dad2fcbb29dcaca3c6558fd3e62e8e2.png](https://i-blog.csdnimg.cn/blog_migrate/6f87e8919b6497925c0f065bd7da595e.png)
从运动恢复结构,场景结构 和 位姿是同时计算,更准确的是结构和运动的同步估计
先离线建图后在线确定位置
![9ca7eac0ed98642f44887274aaafbc29.png](https://i-blog.csdnimg.cn/blog_migrate/80c515869288eb514e4a2811dd8e4b3b.png)
同步构图和定位 场景结构和位姿实时计算
闭环检测:绕场景一周,回到原点
漫反射 小孔成像 孔大时成像为孔,孔小时成像为物体倒像
小光圈(曝光实践增长,高亮度图像)
![023eb2265d81a1c3a00384047a3d9bf1.png](https://i-blog.csdnimg.cn/blog_migrate/692a79525910e3fd69324999eea97352.jpeg)
大光圈 (曝光时间短,图像暗)
光圈过小(产生衍射现象,图像模糊)
![6689e1f9543ab8b1b0c280d89df6b785.png](https://i-blog.csdnimg.cn/blog_migrate/bf822daf17a17fa19250bbc098e032de.jpeg)
在聚焦一定范围内都可以认为是清晰成像,两个弥散圈的距离叫做景深
焦距一定 光圈调节景深
大光圈 景深小
小光圈 景深大
![7ae2c1b74e384264c72ccb7d4f8996d0.png](https://i-blog.csdnimg.cn/blog_migrate/59bdbcd2170bb4733d8af8c3736cd3ee.png)
![262a8fe8c3573df84c18a38ab2afaafe.png](https://i-blog.csdnimg.cn/blog_migrate/88a27270eaede6d30bac5a6e2aaf36f3.jpeg)
小孔相机成像推导
二维平面的成像(简化小孔成像)
![a780a7a2476e17e2405de13c74441b28.png](https://i-blog.csdnimg.cn/blog_migrate/4804e5fba5dae4521f2adc4603ba6aaa.jpeg)
![855a00be83d0295d54e1c43557bd679f.png](https://i-blog.csdnimg.cn/blog_migrate/b0dcf4de5f70bb4b4d87b6089770bcc1.jpeg)
相似三角形推导
平行线 在 二维中相交
![f82ba0fb55a5be3f960490d3c9294388.png](https://i-blog.csdnimg.cn/blog_migrate/89bc389a43194c89ac34cb8f37576526.jpeg)
无穷远的元素在欧式空间存在不参于计算
需要新坐标系
射影空间看作是欧式空间的扩展
![6f8e819a366ad1b0cc2ce1f0e096bee1.png](https://i-blog.csdnimg.cn/blog_migrate/867f3fd07f45d6c3e34bd958aa9d8269.jpeg)
欧式空间看作开放的
射影空间看作是封闭的
![77b552b85ecb080573b4609b2d094362.png](https://i-blog.csdnimg.cn/blog_migrate/b3da7ce76eb24818d8bbb3a0b77e4a65.jpeg)
![8ce582845e2f50ff9a7a11bd7841c846.png](https://i-blog.csdnimg.cn/blog_migrate/b52129157c8a8388a3dca4eb061038de.jpeg)
欧式空间到射影空间之间的转换
![7f16de888c915935d357fc9521612013.png](https://i-blog.csdnimg.cn/blog_migrate/811e00b608bab13dfd62a4323cf85f6b.png)
对应同一个欧式空间点
最后一维表示 欧式空间中存在不参与计算 射影空间中表示无穷远
![7c972bfaeff6bc83fe3cd7deaca383df.png](https://i-blog.csdnimg.cn/blog_migrate/2e7e39758353192c6751faea0e704f14.jpeg)
三维射影空间到二维射影空间的转换
与图像
三维图像点 与场景有关
二维图像点与成像有关
![5666a697e831863e8d7ca30d3e7f32a4.png](https://i-blog.csdnimg.cn/blog_migrate/873e7624c6e48958f2f1b362ad2280ff.jpeg)
左图像点的齐次坐标 右三维点 齐次坐标
左矩阵 相机物理性质 右矩阵 投影矩阵
相机模型 坐标系
前述定义相机光心为中心的三维坐标系会随着相机变化
原则上三维场景点不应以相机变化而变化
需要进行坐标转换 更常见 定义在世界坐标系中
欧式空间中,坐标系之间转换满足刚体变换
![1fac14261bad55f8e5e4e165ae7efbc9.png](https://i-blog.csdnimg.cn/blog_migrate/51a41eb81831d95299401ea724634589.jpeg)
世界坐标系 与 相机模型之间的转化 在 齐次坐标系下
每个世界坐标系通过矩阵变化 转化为相机坐标系
![68cdbe9394cef07cff7c29305a2976db.png](https://i-blog.csdnimg.cn/blog_migrate/bea36e65cd5aaecc49824cced34ac4e3.jpeg)
外参 即是 外姿
![bbeb2c7a0daf95325156490464bd693d.png](https://i-blog.csdnimg.cn/blog_migrate/092675810511bf717edc21a23fd88e6e.jpeg)
求解相机位姿 就是求解
几何视觉的目的,从图像信息还原周边场景三维结构,相机位姿,可选参数
成像过程 右到左
几何视觉 左到右
![c7cd8a95a06ebc8ae130a01e7da09075.png](https://i-blog.csdnimg.cn/blog_migrate/9e2b4dbceb2d28ddcbc260554a556ca0.jpeg)
完整版内参数矩阵
![40d6e1c7c0069850f46bfb6e429f386d.png](https://i-blog.csdnimg.cn/blog_migrate/0aadea2df6c918120a067160564ea9da.jpeg)
左上角 带有主点
中心 坐标 只有
![a05f50aedf777ebb523e047b3aea2eb0.png](https://i-blog.csdnimg.cn/blog_migrate/6c9a4e6ed5ac1781525672dc09756d5b.jpeg)
成像时直线弯折
去畸变算法 直线成像为直线
多视几何
几何视觉下,单幅图像无法重建场景结构 (深度学习正在研究单幅重建)
三维到二维 是降维 (丢失)
二维到三维 会产生歧义
![063cf01dd47042eac39094367047e5db.png](https://i-blog.csdnimg.cn/blog_migrate/d4243c4c416b107a9ca7ef66c8443f28.png)
多幅图像 完成场景几何重建 左 到 右
![5e6a62e69713027c1fd6d20da1413446.png](https://i-blog.csdnimg.cn/blog_migrate/d3498a17cd12d9eca800c86889bef63a.jpeg)
![b0af58707134fb91c5db8bb34eaccf4f.png](https://i-blog.csdnimg.cn/blog_migrate/3ca573f0d324260f8f9b6c7e9474a5f2.jpeg)
依次绘制空间点云位置,空间射线相交,需要已知内外参数
![ac7f263d8723456326482d5da91f0b37.png](https://i-blog.csdnimg.cn/blog_migrate/bbdb75c50c677959abb6f5a46db2d830.jpeg)
实际中,只能已知左边,右边所有值都是未知,多个方程进行求解
两视图几何
![cb4e28d32e979ec27575cca52baaaba8.png](https://i-blog.csdnimg.cn/blog_migrate/ee750a6401e4d7625f5dcd26bd4951dc.png)
将世界坐标系建立于左边的图像 image1
第二个相机的位姿是相对于第一个的平移和旋转
![2ee6be506babbee351f3693b88e3fe7a.png](https://i-blog.csdnimg.cn/blog_migrate/1a0d043105da2666c99598802d01dc04.png)
![2022630f55297721e5fc94e14b5aed43.png](https://i-blog.csdnimg.cn/blog_migrate/c71ec71c956009ad971b11128216d2c6.png)
投影到右方图像 投影点
![334876799ee638ad825abed0342cd607.png](https://i-blog.csdnimg.cn/blog_migrate/f552c5d43bc86d3fc4a7c0edbb2536ee.png)
投影线称为对极线,
三维降为二维 将所有量约束到平面,包括了内参数,外参数。
已知
未知
降维作用,如对空间旋转的作用
二维平面 ,旋转,只需一个角度,三维需要三个欧拉角
数学刻画对极平面
通过基本矩阵
![73c00a2cca14c1c3b0bbdf5792f0beaf.png](https://i-blog.csdnimg.cn/blog_migrate/3c4bef27329396f61e3eacbbc5f40d46.jpeg)
![cc3897603357e64e8947a5a8e2c7ba8c.png](https://i-blog.csdnimg.cn/blog_migrate/97f50a5647f4e813d93ffd35c8313253.jpeg)
这里的极线指的是image2上的极线
![fb3d627a361124265d2f8cc99fd7f90d.png](https://i-blog.csdnimg.cn/blog_migrate/f8eba52e83af205fc7ef28c111ddf9e3.jpeg)
![f706be4df6532a12df124ab9dc609121.png](https://i-blog.csdnimg.cn/blog_migrate/a31f395e56e3896561059de5a571f519.jpeg)
![459b92d45811a66621b04d56a59a5f76.png](https://i-blog.csdnimg.cn/blog_migrate/cd77bf990250b3f7421659537a2b1877.jpeg)
计算出
求解方程,算法 8点法
给定一组点,得到
![299fdc2c37640555bc43a2030fc6af7b.png](https://i-blog.csdnimg.cn/blog_migrate/35544d176fc3e7b99fb4f4994ed11d65.png)
![7cced78e518166e3290b4e6342f3d533.png](https://i-blog.csdnimg.cn/blog_migrate/2e4e55dd2e25c59299d23f4c7f23f457.jpeg)
秩为2没法用,8个自由度
![e0aec48c517648cd4421abb0bf91b09d.png](https://i-blog.csdnimg.cn/blog_migrate/c65e339cc22fd41879afc4a83edfd912.jpeg)
需要非平凡解
![20bc756a58f43c9c351fd9a3618413e6.png](https://i-blog.csdnimg.cn/blog_migrate/39fb338abd749db6de3bb94e33c8f4ad.png)
这样计算出得
![ce465470e7a6f6dbe08ca66c2cba237f.png](https://i-blog.csdnimg.cn/blog_migrate/eaf4595a3be6932a36ad867daa021e5a.jpeg)
![3680b5365b034f227fbd933edff7cf80.png](https://i-blog.csdnimg.cn/blog_migrate/c393d8d8cd9664ec7489e7fa4d527ff0.png)
八个对应点 在同一平面,即
![b16890701985de582b0734a935861225.png](https://i-blog.csdnimg.cn/blog_migrate/f72aee05bbbd3d22c4814e5b371a3e01.jpeg)
求出
需要引入本质矩阵
![760ef749d9e543a7afcc0c6cbef3eb05.png](https://i-blog.csdnimg.cn/blog_migrate/82f31feb9e90b083f472fdb430a8b1d3.jpeg)
本质矩阵 自由度为5 由
![13b41ae81b599bca85b92382ff2cbeba.png](https://i-blog.csdnimg.cn/blog_migrate/229aa4600a295164bb97e14ac398df73.jpeg)
计算模型为:(1)计算基本矩阵 8个点 (2)计算本质矩阵 5个点
对外点无法控制,迭代次数固定下,使用模型点数越少,在同样计算资源下,模型正确概率有量级提升。
![665d9b8255443cbd3277e6672551b07a.png](https://i-blog.csdnimg.cn/blog_migrate/e1bc58754a0f56f4a3fd216f46947c31.jpeg)
在图像匹配的过程中,无法避免有外点的操作,去除外点,可以通过基本矩阵,使得模型更加鲁棒。
![91252bc043c421aa458b75cb9b1640c9.png](https://i-blog.csdnimg.cn/blog_migrate/766532890ca17e96b9a1151a8bfc79bb.jpeg)