北邮-初始计算机视觉之三维重建

1：计算机视觉两大方向

2：区分计算机视觉的两大应用：1：3D reconstruction
2：图像识别，分类，分割，语义信息
目前这两大应用都是用到深度学习和卷积神经网络（用pytorch实现）

3：识别每一个图片：图片就是像素点组成的，每个像素点的取值是0-255，一个像素点数值就代表一个颜色，若干颜色在一起组成了一张图片； 可以参照下黑白01（0白色，1黑色）进制图片来联想

4：计算图中每个像素点的求导：该点对x轴进行求导就是右边的像素点减去左边的像素点
该点对y轴进行求导就是上面的像素点减去下面的像素点
所以该点的梯度值就是（该像素点对x求导，该像素点对y求导）
该像素点的模，就是边缘

5：高斯噪声，用高斯卷积法进行去噪，也就是用符合高斯分布的卷积核进行卷积操作
椒盐噪声，用中值卷积法进行去噪，也就是用取中值的卷积核进行卷积操作
6：candy边缘检测算法
1：算出该像素点的导数
2：计算该点的最大化梯度模
3：非最大化抑制（将粗边变成细边）
4：定义两个门限：先定义高门限找到粗边，再定义低门限找回该粗边周围的细边

7：线拟合问题：
任务1：所有点都在直线上：用全最小二乘法解决拟合

 任务2：有个别噪声点不在直线上：鲁棒最小二乘法（即设置一个距离限制，超过此限制就把该噪声点有效距离控制在一个范围内）


 任务3：有多个噪声点不在直线上：RANSAC方法（任意选取点，利用其他点进行打分制）

 任务4：

8：对于一个代码，要清楚其输入和输出，以及该代码是干什么的，一定要理解该代码三要素

9：相机的模型和其原理内置对象

10：明白摄像机中的各种坐标系和其对应的参数

从右到左有坐标系为：世界坐标系Pw , 摄像机坐标系P ，投影坐标系， 像素坐标系P’

其中K是摄像机坐标系内置因素，包含α β cx cy偏置 倾角
R是旋转量，T是世界坐标系平移量

M（摄像机矩阵）其中包含了 摄像机内置因素K，世界坐标系参数RT； M=K[R, T]
世界坐标系参数为：RT
摄像机坐标系参数为：K

P’=MP = K[R , T]P
E = T x R(本质矩阵)
11：三维重建基础模块！！！！！！！！,利用这种关系进行三维重构

  此时的P与P‘是像素坐标系中的点，找到这两个点后就可以找到该点的三维坐标了

12:极几何（主要解决已知一个图像中的p点，如何在另外一个图片中找到P’）

给定一个点P,则利用下述公式找到另外一个点P’
（标准化摄像机：本质矩阵）

（一般摄像机情况下：利用基础矩阵）

13：利用八点算法求：“基础矩阵F”（找到基础矩阵F后；已知基础矩阵和点P， 就可以找到另一个点P’ ；利用这两个点和坐标系参数KTR可以进行求三维点坐标）

14：sfm(运动恢复结构)
问题提出：计算三维点的坐标

方法1：欧式恢复结构计算三维的点坐标
前提：已知摄像机参数，求三维点的坐标

2：仿射恢复结构

15：摄像机坐标的参数K为

16：高斯卷积核：需要定义标准差α ：
符合高斯分布的卷积核叫做高斯卷积核，通常宽高为2α+1 ；
特性：高斯卷积核有可分解性；
应用：去噪声 ； 可以使图片变得平滑

 中值卷积核：取中值的卷积核

17：高斯一阶求导卷积核：
像素点对x轴求导就是右减去左边的像素； 此时可以用高斯一阶偏倒卷积核进行卷积求导 -1 1

18：Loss.backward()：根据计算图进行后向传播 ； 自动求导，计算权重参数的梯度 ； 对损失函数loss进行求导，计算权重参数的梯度值△ = loss 对w1 w2 w3 w4 …进行求导 ； Loss对w1求导代表w1的梯度值为其；

19：卷积层 输出数据的通道数 等于 卷积核个数；每个卷积核卷积一次照片，形成一个特征图 ; 输出的数据是batch_size 输出数据的通道数 , h , w ;

20：残差网络：将输入的数据经过两次卷积后与原来的数据进行想加，如果输入数据的维度和结果数据维度不同时，则经单独卷积更改输入数据的维度 ； 此时获得的结果 G(X)= （ FX+X） 即保存了原图信息，又获得了想获得的特征；

21：输出数据的种类有多少就有多少行权重参数
输出数据的通道有多少就有多少个卷积核；每个卷积核进行卷积一次该照片，形成一个特征图
输出数据的通道数 = 卷积核个数 = 特征图个数

22：参考纹理卷积核，每个卷积核各有各自不同感兴趣的内容