cunese0088的博客

原创 立体匹配DeepPruner求助

立体匹配DeepPruner求助最近结合code阅读这篇论文发现有很多疑惑(1)为什么不直接用confidence_range_predictor预测的范围，而是再处理得到一个搜索空间(2)sample_count=12,number_of_intervals=10j具体指什么。我理解的是patchmatch随机产生10个候选视差，不知道12哪个参数代表什么...

原创 立体匹配之端到端网络

原创 关于PSMNet的困惑

（1）既然根据视差把左右对应的点拼接得到cost volume,它不像传统方法有代价的意义，那么在视差回归时从cost volume中取的预测代价cd是怎么得到的呢？（2）这篇论文的结构主要是基于GC-Net,关于soft argmin的图cost怎么还有负值？...

原创 深度学习之微调

微调流程：在源数据集上预训练一个神经网络模型，即源模型 创建一个新的神经网络模型（目标模型）。它复制源模型上除了输出层外的所有模型设计与参数。假设这些模型参数包含了源数据集上学习到的知识，并且这些知识同样适用于目标数据集。 为什么不用源模型的输出层？ 它与源数据集的标签紧密相关，不用。 3. 为目标模型添加输出大小为目标数据集类别数的输出层，随机初始化该层的模型参数。 4. 在目标数据集上训练目标模型，从头训练输出层，其余层的参数都是基于源模型的参数微调得到...

原创 论文阅读《Learning for Disparity Estimation through Feature Constancy》

网络结构：（主要是对CRL的改进）主要贡献：1 将立体匹配的所有步骤合并到一个网络来改善准确性和有效性2 使用特征恒量的用于视差优化的子网络三个阶段：特征提取-> 代价计算、聚合和视差估计-> 计算特征恒量用于最后视差调优特征恒量：特征相关和重构误差 紫色块和红色块前面紫色块：粗略的较大范围的一致性后面紫色块：精细的较小范围的一致性（correlation layer：相关的计算等价于匹配代价，相关值越低匹配代价越高）流程：1 输...

原创 深度学习一些专业术语

激活函数：为了让神经网络能学到复杂的决策边界，非线性变化，如sigmoid, tanh, relu放射层：神经网络中的一个全连接层，仿射的意思是前面一层的每一个神经元都连接到当前层中的每一个神经元。一般形式为y=f(wx+b), 仿射层通常被加到卷积神经网络或循环神经网络做出最后预测前的输出的顶层。端到端训练：从原始输入经过神经网络得到最终的预测结果，没有中间结果需要认为人工干预。skip connection：某些数据流跳过若干卷积层直接和更高级的特征图做融合，保留更多原始信息。conca

原创 论文阅读《EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection》

------------------------背景分析---------------------------------------------立体匹配的难点：无纹理区域、细节结构、小物体和邻近边界找到正确的对应关系之前的立体网络存在的缺点：1 对所有潜在视差的多个前向计算通路的计算负担2 有限的感受野和缺乏上下文信息来推断不适定区域的相关性3 大量由经验手动设计参...

原创 论文阅读《SegStereo: Exploiting Semantic Information for Disparity Estimation》

Segstereo （适合无监督学习和监督学习）基础的视差估计网络能构很好的处理带有边界和角点等清晰的定位信息的图片，有无监督和监督的方法，但在平坦区域仍存在问题，使用语义信息来帮助预测和改善最终的视差图方法： 通过semantic feature embedding结合语义信息改善视差估计（语义信息辅助预测），相对无监督方法，此模型应用warp重构光度图像和语义图像...

原创 论文阅读《Semantic Stereo Matching with Pyramid Cost Volumes》

SSPCV-Net（语义立体匹配网络）目的：进一步捕捉视差的细节主要模块：数据集：Scene Flow, KITTI 2012, KITTI 2015, Cityscape(比较泛化能力)----------------------------------------------------------------------------------------------...

原创 论文阅读《Pyramid Stereo Matching Network》

Problem：之前工作的问题：依赖于图块匹配，缺少在不适定区域利用环境信息寻找一致性匹配的能力基于CNN的立体匹配的主要问题：如何有效利用环境信息一系列端到端的视差预测的主要思想：综合环境信息来减少模糊区域的误匹配，同时改善深度估计PSMNet将像素级特征扩展到有不同尺度感受野的区域特征，全局和局部信息被组合起来形成代价量，使视差估计更可靠 堆积沙漏3维C...

原创 论文阅读《Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching》

Cascade residual learning (两阶段)Problem: 不适定区域（目标遮挡、重复纹理、无纹理等）难以产生高质量的视差贡献：DispNet + up-conv 恢复到全分辨率输出，使视差图像包含更多细节 校正初始视差（多规模残差学习机制提供更多有效的优化）Tip: 直接学习残差信号比直接学习视差更容易改进： 非一个个堆积残差块，残差信号不能...

原创 论文阅读《Group-wise Correlation Stereo Network》

previous(cost volume)：传统 1 cross-correlation(correlation层，特征相似性)缺点：虽然以有效的方式计算特征相似性，在每个视差级别只产生的单通道的correlation map，损失了一部分信息传统 2 left right features 在所有视差级别级联缺点：不含相关性，从头学习相似性度量，更多参数本文提出的gro...