一、组会记录
-
如图1所示,理论上 A 曲线下降的应该会比 B 更明显才对,但是没有。
考虑可能与 learning rate 有关系,可能需要将其调大。因为模型 A 可能陷入一个局部极小值了。
-
模型的 Pytorch 代码中,一些该 detach 的地方没有 detach,会导致网络不收敛。
-
本文方法与其他方法做对比实验的时候,它们训练 epoch 数目不一定要相同,因为网络参数数量不同,我们只需要将网络训练到收敛即可。
-
cascade 的模式:先训练网络的上游部分,然后固定住被训练的部分,再训练下游部分。
-
看模型效果,需要看那些有物理意义的东西,比如说视差图,因为可以和 GT 视差图直观地对比。而不看 Loss 的数值。
-
在深度补全的 NYU 的代码中有两个参数 spaceSigmas,rangeSigmas。
如下代码所示,两个参数都是 3 维向量,如何调参?
可以考虑先固定 rangeSigmas,然后将 spaceSigmas 参数向量的每个分量都变为原来的 1/2、2、1/10、10、1/100和100倍。
进而固定spaceSigmas ,将 rangeSigmas 参数向量的每个分量都变为原来的 1/2、2、1/10、10、1/100和100倍。
% spaceSigmas - (optional) sigmas for the spacial gaussian term. % rangeSigmas - (optional) sigmas for the intensity gaussian term. if nargin < 3 spaceSigmas = [12 5 8]; end if nargin < 4 rangeSigmas = [0.2 0.08 0.02]; end
-
在利用梯度下降法基于等深度约束优化 disparity 时,在迭代的过程中,出现了 disparity map 中一些值 为 inf。由于视差与深度两个量是成反比的关系。那么深度为 0 处的点的视差确实是 inf。故考虑对 disparity 加正则项。即原来的 Cost 函数为
C o s t = 1 2 ∑ v = 1 h ∑ u = 1 w e v , u 2 e v , u = d v , u p r e d i c t − d v , u g t Cost= \frac{1}{2} \sum_{v=1}^{h} \sum_{u=1}^{w} {e_{v,u}}^2 \qquad e_{v,u} = d_{v,u}^{predict}-d_{v,u}^{gt} Cost=21v=1∑hu=1∑wev,u2ev,u=dv,upredict−dv,ugt
加了正则项之后的 Cost 函数为:
N e w C o s t = λ ∑ v = 1 h ∑ u = 1 w d v , u 2 + 1 2 ∑ v = 1 h ∑ u = 1 w e v , u 2 NewCost=\lambda \sum_{v=1}^{h} \sum_{u=1}^{w} {d_{v,u}}^2+ \frac{1}{2} \sum_{v=1}^{h} \sum_{u=1}^{w} {e_{v,u}}^2 NewCost=λv=1∑hu=1∑wdv,u2+21v=1∑hu=1∑wev,u2
-
在上面第 6 点中,可以通过计算 Cost 函数的 Jacobian 矩阵的秩退出它们有几个变量是不独立的。
-
拍数据集的时候,不要露出中文(标志性的),不拍树、不拍花。布的 reflection 不好, noise 很大,布玩具不好。拍木头、花坛、雕塑、瓷器、花盆、车还有一些油漆过的材料。
-
做 Multi View Stereo 背景不好恢复,因为 view 变化太小了。
深度相机要放置于 1 米开外。
拍整个场景,让相机动起来。
不在乎背景,只考虑前景。
背景要变换。
可以连续拍多张,对图像做平滑(比如平均)。可以换灯光。
加噪声,对光源加噪声,而不是对图像上加。
-
如图 2 所示,用 NYU 提供的 工具包中的 经典的双边滤波算法补全后的深度图左侧会有一条黑色竖纹。这是因为操作前的深度图在黑色竖纹的位置本身就没有数据。双边滤波补全深度算法是利用四周的深度去补充中间位置的深度,但是最左侧的四周缺失了信息,所以双边滤波算法也补充不了深度。
一种思路:对深度图加一个 mask 矩阵,即深度可信的位置在 mask 矩阵中的值为 1,反之为 0。如何找出这个竖纹处的位置呢?可以考虑这样做:找到图像中最的包含了左上角位置(0,0)的连通区域。
二、关于 Matlab 的点
-
Matlab 创建RGB图像,
Rgbs = ones(h,w,3,n,'uint8');
否则默认 double会出问题。
-
A(A==x)=X; %将A中等于x的值全部替换为X A(isnan(A))=X;%将A中等于nan的值全部替换为X length(find(a>20&a<30)) %满足大于10小于20的所有数据的个数
-
Matlab 运行 .m 文件注意当前文件目录
-
在使用 fill_depth_colorization.m 的时候
在运行68、78左右行的时候碰到了报错:
MATLAB中 错误使用 * 整数只能与相同类的整数或标量双精度值组合使用
mgv = min((gvals(1:nWin)-curVal).^2); gvals(1:nWin) = exp(-(gvals(1:nWin)-curVal).^2/csig);
如下,强制转换成 double类型就行
mgv = min((gvals(1:nWin)-double(curVal)).^2); gvals(1:nWin) = exp(-(gvals(1:nWin)-double(curVal)).^2/csig);
-
查找在 imgDepthAbs 中,除了 取值为 0 和 10 以外值的最大值。
imgIsNoise = imgDepthAbs == 0 | imgDepthAbs == 10; maxDepthObs = max(imgDepthAbs(~imgIsNoise));
三、关于 Ubantu 的点
-
cmake,make,make install 的流程
cd [path-to-pangolin] mkdir build cd build cmake .. make sudo make install
-
查看opencv4版本
pkg-config --modversion opencv4 4.5.3
-
Usr/local/include 里面含有make install 的 例如 opencv4 ceres pangolin
-
很多时候在 Ubantu 20.4 中用网上的一些命令安装库不行,因为它可能被更新了,名字需要改一下。
sudo apt-get install libflann1.8 libflann-dev 报错找不到
所以改成
sudo apt-get install libflann1.9 libflann-dev
-
配置 Github ssh
git config --global user.name [name] git config --global user.email [email] git config --global github.token [password]
-
Github git clone private repository 不能用 https 只能用ssh
-
# GPU 使用情况 nvidia-smi #可以看到 CUDA Version:11.2
-
通过 os 指定哪张 GPU,比如下面的代码指定第 4 张 GPU
os.environ[ 'CUDA_VISIBLD_EVICES'] = '4'
-
训练时在服务器中用tmux训练,避免网络波动影响
https://blog.csdn.net/mseaspring/article/details/122264470
```shell
#vim
不想按ESC键,想快速从编辑模式切换到普通模式,有没有其它简便办法可以做到?
Ctrl+ [
用Ctrl+o可以切换回去,但是只能执行一条命令
:q #退出(这是:quit的缩写)
:q! #不保存退出(这是:quit!的缩写)
:wq #写入文件并退出(这是:writequit的缩写)
:wq! #如果文件只有读权限)写入并退出;(如果文件没有写权限,强制写)
# 删除目录下所有文件夹和文件
#使用
# -r 就是向下递归,不管有多少级目录,一并删除
# -f 就是直接强行删除,不作任何提示的意思
rm -rf 目录名字
#rm 不带参数 只能删除文件
rm test.txt
mkdir /usr/java #创建文件夹
touch myid #创建myid文件
# 用mv命令将文件移动到某个目录
mv Anaconda3-2021.11-Linux-x86_64.sh ./myPackages
#编辑之后使环境变量生效的命令:
source ~/.bashrc
# conda 虚拟环境相关
# 创建一个名为 Stereo ,python 版本为 3.7 的 conda 环境
conda create -n Stereo python=3.7
# 激活虚拟环境
conda activate Stereo
# 关闭当前虚拟环境
conda deactivate
# conda 安装第三方库
conda install pytorch=1.6.0 torchvision=0.7.0 cudatoolkit=10.2 -c pytorch
# conda 卸载库
# conda uninstall xxx //卸载xxx包
conda uninstall pytorch
# 删除环境:
# 使用命令conda remove -n your_env_name(虚拟环境名称) --all, 即可删除。
conda remove -n Stereo --all
# 删除虚拟环境中的包:
# 使用命令conda remove --name $your_env_name $package_name(包名) 即可。
# conda list:查看安装了哪些包。
# conda env list 或 conda info -e:查看当前存在哪些虚拟环境
# conda update conda:检查更新当前conda
```
-
#Git cmd 切换到 D 盘 D:#可以 d:#也可以 # 接下来还是要 cd ,但是路径就是 Windows 下的路径
四、相关资源
-
OpenCV 双目校正
https://blog.csdn.net/qq_15751687/article/details/117886678
-
tmux训练,避免网络波动影响
https://blog.csdn.net/mseaspring/article/details/122264470
-
SGM 的代码
git clone git://github.com/ethan-li-coding/SemiGlobalMatching.git
最小 disparity 8