<div class="article_title">
<span class="ico ico_type_Original"></span>
<h1>
<span class="link_title"><a href="/wsj998689aa/article/details/50488249">
<font color="red">[置顶]</font>
Stereo Matching文献笔记之（十）：经典算法Semi-Global Matching（SGM）之碉堡的动态规划~
</a>
</span>
</h1>
</div>
<div class="article_manage clearfix">
<div class="article_l">
<span class="link_categories">
标签：
<a href="http://www.csdn.net/tag/stereo-matching" target="_blank" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);">stereo-matching</a><a href="http://www.csdn.net/tag/SGM" target="_blank" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);">SGM</a><a href="http://www.csdn.net/tag/%e7%ab%8b%e4%bd%93%e5%8c%b9%e9%85%8d" target="_blank" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);">立体匹配</a><a href="http://www.csdn.net/tag/%e5%8a%a8%e6%80%81%e8%a7%84%e5%88%92" target="_blank" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);">动态规划</a>
</span>
</div>
<div class="article_r">
<span class="link_postdate">2016-01-09 16:02</span>
<span class="link_view" title="阅读次数">5818人阅读</span>
<span class="link_comments" title="评论次数"> <a href="#comments" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_pinglun'])">评论</a>(38)</span>
<span class="link_collect tracking-ad" data-mod="popu_171"> <a href="javascript:void(0);" οnclick="javascript:collectArticle('Stereo+Matching%e6%96%87%e7%8c%ae%e7%ac%94%e8%ae%b0%e4%b9%8b%ef%bc%88%e5%8d%81%ef%bc%89%ef%bc%9a%e7%bb%8f%e5%85%b8%e7%ae%97%e6%b3%95Semi-Global+Matching%ef%bc%88SGM%ef%bc%89%e4%b9%8b%e7%a2%89%e5%a0%a1%e7%9a%84%e5%8a%a8%e6%80%81%e8%a7%84%e5%88%92%7e','50488249');return false;" title="收藏" target="_blank">收藏</a></span>
<span class="link_report"> <a href="#report" οnclick="javascript:report(50488249,2);return false;" title="举报">举报</a></span>
</div>
</div> <style type="text/css">
.embody{
padding:10px 10px 10px;
margin:0 -20px;
border-bottom:solid 1px #ededed;
}
.embody_b{
margin:0 ;
padding:10px 0;
}
.embody .embody_t,.embody .embody_c{
display: inline-block;
margin-right:10px;
}
.embody_t{
font-size: 12px;
color:#999;
}
.embody_c{
font-size: 12px;
}
.embody_c img,.embody_c em{
display: inline-block;
vertical-align: middle;
}
.embody_c img{
width:30px;
height:30px;
}
.embody_c em{
margin: 0 20px 0 10px;
color:#333;
font-style: normal;
}
</style>
<script type="text/javascript">
$(function () {
try
{
var lib = eval("("+$("#lib").attr("value")+")");
var html = "";
if (lib.err == 0) {
$.each(lib.data, function (i) {
var obj = lib.data[i];
//html += '<img src="' + obj.logo + '"/>' + obj.name + " ";
html += ' <a href="' + obj.url + '" target="_blank">';
html += ' <img src="' + obj.logo + '">';
html += ' <em><b>' + obj.name + '</b></em>';
html += ' </a>';
});
if (html != "") {
setTimeout(function () {
$("#lib").html(html);
$("#embody").show();
}, 100);
}
}
} catch (err)
{ }
});
</script>
<div class="category clearfix">
<div class="category_l">
<img src="http://static.blog.csdn.net/images/category_icon.jpg">
<span>分类：</span>
</div>
<div class="category_r">
<label οnclick="GetCategoryArticles('3105361','wsj998689aa','top','50488249');">
<span οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_fenlei']);">立体匹配<em>（9）</em></span>
<img class="arrow-down" src="http://static.blog.csdn.net/images/arrow_triangle _down.jpg" style="display:inline;">
<img class="arrow-up" src="http://static.blog.csdn.net/images/arrow_triangle_up.jpg" style="display:none;">
<div class="subItem">
<div class="subItem_t"><a href="http://blog.csdn.net/wsj998689aa/article/category/3105361" target="_blank">作者同类文章</a><i class="J_close">X</i></div>
<ul class="subItem_l" id="top_3105361">
</ul>
</div>
</label>
<label οnclick="GetCategoryArticles('2875609','wsj998689aa','top','50488249');">
<span οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_fenlei']);">文献理解<em>（10）</em></span>
<img class="arrow-down" src="http://static.blog.csdn.net/images/arrow_triangle _down.jpg" style="display: inline;">
<img class="arrow-up" src="http://static.blog.csdn.net/images/arrow_triangle_up.jpg" style="display: none;">
<div class="subItem" style="display: none;">
<div class="subItem_t"><a href="http://blog.csdn.net/wsj998689aa/article/category/2875609" target="_blank">作者同类文章</a><i class="J_close">X</i></div>
<ul class="subItem_l" id="top_2875609"><li class="tracking-ad" data-mod="popu_140"><em>•</em><a href="http://blog.csdn.net/wsj998689aa/article/details/50754595" id="top_aritcle_50754595undefined25945488857556664" target="_blank" title="文献笔记：《Fitting a 3D Morphable Model to Edges: A Comparison Between Hard and Soft Correspondences》读后感~">文献笔记：《Fitting a 3D Morphable Model to Edges: A Comparison Between Hard and Soft Correspondences》读后感~</a></li> <li class="tracking-ad" data-mod="popu_140"><em>•</em><a href="http://blog.csdn.net/wsj998689aa/article/details/49403353" id="top_aritcle_49403353undefined12624962126045436" target="_blank" title="Stereo Matching文献笔记之（八）：《On Building an Accurate Stereo Matching System on Graphics Hardware》读后感~">Stereo Matching文献笔记之（八）：《On Building an Accurate Stereo Matching System on Graphics Hardware》读后感~</a></li> <li class="tracking-ad" data-mod="popu_140"><em>•</em><a href="http://blog.csdn.net/wsj998689aa/article/details/48824413" id="top_aritcle_48824413undefined25410815275952403" target="_blank" title="Stereo Matching文献笔记之（七）：《Spatial-Depth Super Resolution for Range Images》读后感~">Stereo Matching文献笔记之（七）：《Spatial-Depth Super Resolution for Range Images》读后感~</a></li> <li class="tracking-ad" data-mod="popu_140"><em>•</em><a href="http://blog.csdn.net/wsj998689aa/article/details/48215721" id="top_aritcle_48215721undefined5343482148322201" target="_blank" title="Stereo Matching文献笔记之（五）：经典算法DoubleBP读后感~">Stereo Matching文献笔记之（五）：经典算法DoubleBP读后感~</a></li> <li style="padding-left: 300px;"><a href="http://blog.csdn.net/wsj998689aa/article/category/2875609" target="_blank">更多</a></li></ul>
</div>
</label>
</div>
</div>
<div class="bog_copyright">
<p class="copyright_p">版权声明：作者：迷雾forest（请随意转载，若顾及到博主打字耗费的卡路里，请添加博主小名，权当娱乐）</p>
</div>
<div id="article_content" class="article_content tracking-ad" data-mod="popu_307" data-dsm="post">
<p>上一篇博客中提到了SGM的第一部分，基于分层互信息（HMI）的代价计算，本文继续说说自己对SGM代价聚合部分的理解。</p>
<p>(转载请注明：http://blog.csdn<a href="http://lib.csdn.net/base/dotnet" class="replace_word" title=".NET知识库" target="_blank" style="color:#df3434; font-weight:bold;">.NET</a>/wsj998689aa/article/details/50488249, 作者：迷雾forest)<br>
</p>
<p><span style="font-size:14.2857141494751px; font-family:'microsoft yahei'; line-height:25.9933032989502px"><br>
</span></p>
<p>SGM的代价聚合，其实仔细看看，这并不是严格意义上的代价聚合，因为SGM是为了优化一个能量函数，这和一般的全局<a href="http://lib.csdn.net/base/datastructure" class="replace_word" title="算法与数据结构知识库" target="_blank" style="color:#df3434; font-weight:bold;">算法</a>一样，如何利用优化算法求解复杂的能量函数才是重中之重，其能量函数如下所示：</p>
<p style="text-align:center"><img src="https://img-blog.csdn.net/20151014202706771?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" width="400" height="100"><br>
</p>
<p>其中，C(p, Dp)代表的就是基于互信息的代价计算项，后面两项指的是当前像素p和其邻域内所有像素q之间的约束，如果q和p的视差只差了1，那么惩罚P1，如果大于1，那么惩罚P2，这么做基本上是<a href="http://lib.csdn.net/base/machinelearning" class="replace_word" title="机器学习知识库" target="_blank" style="color:#df3434; font-weight:bold;">机器学习</a>中的常用方法，即所谓的正则化约束。这里需要注意的是，P2要大于P1，这么做真心有用。</p>
<p>1. 假如不考虑像素之间的制约关系，不假设领域内像素应该具有相同的视差值，那么最小化E(D)就是最小化每一个C，这样的视差图效果很差，因为图像总会收到光照，噪声等因素的影响，最小的代价对应的视差往往是“假的”，并且这样做全然不考虑相邻之间的像素关系，例如，一个桌面的视差明显应该相同，但是可能由于倾斜光照的影响，每个像素的最小代价往往会不同，所以看起来就会乱七八糟，东一块西一块。这就是加上约束的目的。</p>
<p><br>
</p>
<p>2. 添加两个正则化项一方面是为了保证视差图平滑，另一方面为了保持边缘（<strong><span style="color:#ff0000">保持边缘一直没想明白为什么？</span></strong>）。惩罚的越大，说明越不想看到这种情况发生，具体来说，如果q和p之间的视差有所差异但又不大，那么就要付出代价，你不是想最小化能量函数么？那么二者都要小，如果没有第二项，那么求出来的视差图将会有明显的锯齿现象，如果只有第三项，那么求出来的视差图边缘部分将会得到保持，但由于没有对相差为1的相邻像素进行惩罚，物体内部很可能出现一个“斜面”。</p>
<p><br>
</p>
<p>3. 这事情还没完，本文中有对这两项的解释，原文内容如下所示：</p>
<p style="text-align:center"><img src="https://img-blog.csdn.net/20160107164525010?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" width="500" height="70"><br>
</p>
<p style="text-align:center"><br>
</p>
<p>这句话的隐含意思是，如果我们让P1<P2，那么会允许出现小的斜面，也会保持边缘，前面一句我理解，惩罚的力度不大，就会导致这种事情还会发生，这也正是作者想看到的，水至清而无鱼嘛，不过，后一句中的P2并不是常数项，是根据相邻像素的差距来决定的，括号里面的“与大小无关”看起来就更加矛盾了，不知道哪位可以给好好解释一下这句话？</p>
<p><br>
</p>
<p>有了能量函数，下面要做的就是求解它了，这个时候问题来了，这个E对p是不可导的，这意味着我们常看到的梯度下降，牛顿高斯等等算法在这里都不适用，作者于是采用了动态规划来解决这一问题，动态规划相信大家都知道了，但是其真正的精髓却是深藏不露，我早在大三期间就接触到了动态规划算法，这么多年过去了，虽然时而会用到这个算法，但到现在仍旧不敢说自己彻底懂它。。。。</p>
<p><br>
</p>
<p>简单地说，p的代价想要最小，那么前提必须是邻域内的点q的代价最小，q想要代价最小，那么必须保证q的领域点m的代价最小，如此传递下去。<br>
<br>
<br>
</p>
<div>本文只说说作者是怎么利用动态规划来求解E，其实这个求解问题是NP完全问题，想在2D图像上直接利用动态规划求解是不可能的，只有沿着每一行或者每一列求解才能够满足多项式时间（又叫做扫描线优化），但是这里问题来了，如果我们只沿着每一行求解，那么行间的约束完全考虑不到，q是p的领域的点其实这个时候被弱化到了q是p的左侧点或者右侧点，这样的求优效果肯定很差。于是，大招来了！！我们索性不要只沿着横或者纵来进行优化，而是沿着一圈8个或者16个方向进行优化。</div>
<div><br>
</div>
<div style="text-align:center"><img src="https://img-blog.csdn.net/20151129235238417?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt=""></div>
<div style="text-align:center"><br>
</div>
<div>这是一幅神奇的图示，我一直没有弄明白它到底是什么意思，笨死了，直到有一天我终于领悟它的真谛（仰天长啸）。我们先来看看优化求解过程：</div>
<div><br>
</div>
<div style="text-align:center"><img src="https://img-blog.csdn.net/20160107201235886" alt="" width="160" height="45"><br>
</div>
<div><br>
</div>
<div style="text-align:center"><img src="https://img-blog.csdn.net/20160107201242005" alt="" width="350" height="100"><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div>每一个点的代价聚合值是“当前代价+min（路径相邻点的当前视差代价聚合值，路径相邻点的视差差值为1的代价聚合值 + P1，路径相邻点的视差插值大于1的最小代价聚合值 + P2）- 路径相邻点的视差插值大于1的最小代价聚合值 ”，听起来够绕口的，其实就好比最小代价的蔓延，当前代价聚合值由当前代价和路径上一点的加了惩罚的最小代价聚合值所决定（最后那一项纯粹是为了防止数字过大，这是常用手段）。</div>
<div><br>
</div>
<div>其实为什么分解为8个方向想想看也很正常，能量函数E中每个p的能量是“自身代价本身+周围像素q带来的惩罚”，周围像素足足有8个，想求它们和的最小化十分难，最朴素的想法就是“分而求之”，我们就规定一个方向r，这个方向上p的邻居q只有一个，那么沿着这一方向的p的代价聚合值就成为了上面公式的样子。进一步，将8个方向的代价聚合值都加起来，就形成了p的最终代价聚合值。然后用WTA搞一下得到的视差图可以得到一个较小的能量E，目的就达到了。</div>
<div><br>
</div>
<div>我们来想想SGM的优化过程和DoubleBP有什么区别。</div>
<div>1. 先看能量函数，DoubleBP是每个像素自身代价加上周围像素的一个二元势函数值。SGM呢？是自身的代价加上周围像素带来的惩罚。其实二者是一个意思。</div>
<div>2. 再看优化过程，DoubleBP靠的是置信度传播算法，最后WTA的目标是一个置信度向量，这个置信度向量其实和向量没关系，每个分量都是去当前视差d的代价+周围像素的消息，这一点和SGM简直是太像了。</div>
<div>3. 再说说二者的区别，消息的每个分量可以理解为q对p取每个视差的支持力度，而SGM索性直接求取最小的惩罚，这点比DoubleBP要直接许多，所以SGM很快，DoubleBP很慢。</div>
<div><br>
</div>
<div>我认为这块内容非常值得单独拉出来说说，以后有时间好好的写写。</div>
<div><br>
</div>
<div><br>
</div>
<div>最后，我们可以看看SGM的整体流程图，这么长的流程图！！这个没啥好进一步解释的，唯一想说的就是我认为II-A那里多画了两个箭头，指向II-B的箭头应该只有MI一个。</div>
<div style="text-align:center"><img src="https://img-blog.csdn.net/20160107202418231" alt=""><br>
</div>
<div style="text-align:center"><br>
</div>
<div>OK，本文就说到这里，好久不写博客了，手都已经生锈了，请大家不吝赐教，帮我想想我问的问题啊！！！</div>
<p></p>
<p><br>
</p>
</div>
<!-- Baidu Button BEGIN -->
<div class="bdsharebuttonbox tracking-ad bdshare-button-style0-16" style="float: right;" data-mod="popu_172" data-bd-bind="1499517308286">
<a href="#" class="bds_more" data-cmd="more" style="background-position:0 0 !important; background-image: url(http://bdimg.share.baidu.com/static/api/img/share/icons_0_16.png?v=d754dcc0.png) !important" target="_blank"></a>
<a href="#" class="bds_qzone" data-cmd="qzone" title="分享到QQ空间" style="background-position:0 -52px !important" target="_blank"></a>
<a href="#" class="bds_tsina" data-cmd="tsina" title="分享到新浪微博" style="background-position:0 -104px !important" target="_blank"></a>
<a href="#" class="bds_tqq" data-cmd="tqq" title="分享到腾讯微博" style="background-position:0 -260px !important" target="_blank"></a>
<a href="#" class="bds_renren" data-cmd="renren" title="分享到人人网" style="background-position:0 -208px !important" target="_blank"></a>
<a href="#" class="bds_weixin" data-cmd="weixin" title="分享到微信" style="background-position:0 -1612px !important" target="_blank"></a>
</div>
<script>window._bd_share_config = { "common": { "bdSnsKey": {}, "bdText": "", "bdMini": "1", "bdMiniList": false, "bdPic": "", "bdStyle": "0", "bdSize": "16" }, "share": {} }; with (document) 0[(getElementsByTagName('head')[0] || body).appendChild(createElement('script')).src = 'http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion=' + ~(-new Date() / 36e5)];</script>
<!-- Baidu Button END -->
<!--172.16.140.14-->
<!-- Baidu Button BEGIN -->
<script type="text/javascript" id="bdshare_js" data="type=tools&uid=1536434" src="http://bdimg.share.baidu.com/static/js/bds_s_v2.js?cdnversion=416533"></script>
<script type="text/javascript">
document.getElementById("bdshell_js").src = "http://bdimg.share.baidu.com/static/js/shell_v2.js?cdnversion=" + Math.ceil(new Date()/3600000)
</script>
<!-- Baidu Button END -->
<div id="digg" articleid="50488249">
<dl id="btnDigg" class="digg digg_enable" οnclick="btndigga();">
<dt>顶</dt>
<dd>8</dd>
</dl>
<dl id="btnBury" class="digg digg_enable" οnclick="btnburya();">
<dt>踩</dt>
<dd>0</dd>
</dl>
</div>
<div class="tracking-ad" data-mod="popu_222"><a href="javascript:void(0);" target="_blank"> </a> </div>
<div class="tracking-ad" data-mod="popu_223"> <a href="javascript:void(0);" target="_blank"> </a></div>
<script type="text/javascript">
function btndigga() {
$(".tracking-ad[data-mod='popu_222'] a").click();
}
function btnburya() {
$(".tracking-ad[data-mod='popu_223'] a").click();
}
</script>
<ul class="article_next_prev">
<li class="prev_article"><span οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_shangyipian']);location.href='http://blog.csdn.net/wsj998689aa/article/details/49762521';">上一篇</span><a href="http://blog.csdn.net/wsj998689aa/article/details/49762521" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_shangyipian'])">逻辑回归好文转载</a></li>
<li class="next_article"><span οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_xiayipian']);location.href='http://blog.csdn.net/wsj998689aa/article/details/50742226';">下一篇</span><a href="http://blog.csdn.net/wsj998689aa/article/details/50742226" οnclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_xiayipian'])">文献笔记：《Can we still avoid automatic face detection?》读后感~</a></li>
</ul>
<div style="clear:both; height:10px;"></div>
<div class="similar_article">
<h4></h4>
<div class="similar_c" style="margin:20px 0px 0px 0px">
<div class="similar_c_t">
相关文章推荐
</div>
<div class="similar_wrap tracking-ad" data-mod="popu_36">
<ul class="similar_list fl">
<li>
<em>•</em>
<a href="http://blog.csdn.net/lemianli/article/details/52536389" title="Stereo Matching文献笔记之（三）：经典算法Semi-Global Matching（SGM）之碉堡的动态规划" strategy="BlogCommendFromCsdn" target="_blank">Stereo Matching文献笔记之（三）：经典算法Semi-Global Matching（SGM）之碉堡的动态规划</a>
</li>
<li>
<em>•</em>
<a href="http://soft-app.iteye.com/blog/922343" title="经典算法研究系列：三、动态规划算法解微软一道面试题[第56题]" strategy="BlogCommendFromCsdn" target="_blank">经典算法研究系列：三、动态规划算法解微软一道面试题[第56题]</a>
</li>
<li>
<em>•</em>
<a href="http://jgsj.iteye.com/blog/2025795" title="LeetCode Wildcard Matching 优化动态规划法和迭代算法" strategy="BlogCommendFromCsdn" target="_blank">LeetCode Wildcard Matching 优化动态规划法和迭代算法</a>
</li>
<li>
<em>•</em>
<a href="http://blog.csdn.net/wsj998689aa/article/details/48215721" title="Stereo Matching文献笔记之（五）：经典算法DoubleBP读后感~" strategy="BlogCommendFromCsdn" target="_blank">Stereo Matching文献笔记之（五）：经典算法DoubleBP读后感~</a>
</li>
<li>
<em>•</em>
<a href="http://cwind.iteye.com/blog/2228723" title="LeetCode[动态规划] - #10 Regular Expression Matching " strategy="BlogCommendFromCsdn" target="_blank">LeetCode[动态规划] - #10 Regular Expression Matching </a>
</li>
</ul>
<ul class="similar_list fr">
<li>
<em>•</em>
<a href="http://blog.csdn.net/liyingjiang22/article/details/62230830" title="Stereo Matching文献笔记之（九）：经典算法Semi-Global Matching（SGM）之神奇的HMI代价计算~" strategy="BlogCommendFromCsdn" target="_blank">Stereo Matching文献笔记之（九）：经典算法Semi-Global Matching（SGM）之神奇的HMI代价计算~</a>
</li>
<li>
<em>•</em>
<a href="http://iwebcode.iteye.com/blog/1306318" title="算法笔记（问题分解，分治与动态规划）" strategy="BlogCommendFromCsdn" target="_blank">算法笔记（问题分解，分治与动态规划）</a>
</li>
<li>
<em>•</em>
<a href="http://blog.csdn.net/wsj998689aa/article/details/48417927" title="Stereo Matching文献笔记之（六）：浅谈置信度传播算法（Belief-Propagation）在立体匹配中的应用~" strategy="BlogCommendFromCsdn" target="_blank">Stereo Matching文献笔记之（六）：浅谈置信度传播算法（Belief-Propagation）在立体匹配中的应用~</a>
</li>
<li>
<em>•</em>
<a href="http://blog.csdn.net/laobai1015/article/details/52527285" title="经典算法Semi-Global Matching（SGM）文献笔记（二）" strategy="BlogCommendFromCsdn" target="_blank">经典算法Semi-Global Matching（SGM）文献笔记（二）</a>
</li>
<li>
<em>•</em>
<a href="http://liyiwen.iteye.com/blog/345796" title="《算法导论》笔记－－动态规划解活动选择问题" strategy="BlogCommendFromCsdn" target="_blank">《算法导论》笔记－－动态规划解活动选择问题</a>
</li>
</ul>
</div>
</div>
</div>
350
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
