GAMES203: 三维重建和理解 - P11:Lecture 11 Geometric Deep Learning II - GAMES-Webinar - BV1pw411d7aS
那个呃我们现在开始讲课,不好意思啊,我没有啊,我们现在开始讲课,不好意思,好开始呃,那个那个我今后我们还有还有几节课好吧,然后我们只要把这个全部选地图learning,我们讲一讲好吧。
然后那个slide应该在我那个主页上面,好吧啊好,这三节课呢我们主要是讲这个跟大家回顾一下,我们讲了一些。
这个就在曲面上怎么对这个special dm来进行这种convolution和deconvolution对吧,然后呢有了这个以后呢,我们可以做这种选手自动。
就是他是你你做的这个tron transformation以后,我就是一个on bon diana special costation对吧,呃有了这个以后呢,其实这个呃就很嗯我们可以做考古的什么对吧。
然后还有一些这种,所以这个这么费,核心思想就是在这个曲面上,你可以用这个拉普拉斯这个operator的这个特征根对吧,我们可以那个定义一些可以可以可以可以把这个啊这个special妹对吧。
给你个这个special metransport的这个special domain是吧,对我们讲的这个反手man对吧,这是虽然这是一种这是一个copy link这个东西对吧。
就是嗯这个拉拉按ion bon,ion magic ma对吧,就是对吧,它实际上是提供了这个曲面上的三选一个杯子对吧,然后fashion max呢实际上是啊。
30曼实际上是这两个里面一个fashion对吧,你在不同的这个皮下面,你可以嗯算是他的口语fficient对吧,然后你可以在这个口effici之间呢。
你可以呃那个呃linux transformation对吧,然后他就得到这个啊得到了这个呃一个呃两个shift也能man对吧,然后呢呃我们讲了这个讲这个fusing different bases对吧。
就是说嗯你对你对音mage来说,因为他那个走位他永远是个grade对吧,就是所以呢它不存在,就是像shape的话,因为不同的shape它的定格在他的杯子不一样对吧。
它有一个这个还有这一个不匹配的问题对吧,那怎么做呢,实际上就是说你你考虑一个conomic she pc,你能把这个这个东西呢,你把这个每个shift上单传统的时候到这个command space上面。
然后你再做这个再做这个考核,是希望它就是一个这样的东西对吧,就是你给你听到一个sh,你首先呢发忽略传统对吧,就是忽略传统,就是呃到那trial space,然后到special space呢。
这个special呢tn呢实际上是那个transformer男朋友那个shape对吧,你知道有个传说吗,你把这个special狗妹直接这些东西你可以穿透一切了对吧。
然后呢呃然后你再做convolution对吧,这个这个cp实际上就是做错了一个normalization,对不对,不然他一会处理传统,在软路就是老,然后呢这个。
这个东西呢它实际上是能做这个我们这个special这个小窗户在logo能做什么,能做黄毛保平定的对吧,能做这个你会发现就是说这个predict prediction跟这个广shox呢。
它会有一个什么东西,光速相对来说比较像,对不对,然后这个prediction呢他像是因为bash的原因呢,相对来说它有待定待定了,什么可能啊,这个其实如果你们谁就是对单纯的埋伏比较熟悉的话啊。
这个东西我应该可以理解的就是错,所以只能做过这个东西,然后呢你也可以做ftation对吧,就是说你可以做一些对吧,这个这个这个special这个东西你可以就是拉普拉斯矩阵嘛。
它不一定定义定义在这个max上面就可以定义的关cos好,那那下面呢我再讲一些接着讲对吧,就是说这个醒目就并不能点,它是跟这个gram的相关的,那如果比如说因为比如说我们如果有些brands它是rap。
在有些ac ac什么的,有些brando action什么,你有一条边,那条边并并没有它的英文对吧,并没有它的英文对,就是你一条边从a到b对吧,但是并没有一条边从b到a对不对对吧,是这样子的对吧。
就存在一个direct direct rap呢,它的那个occ ming呢,它实际上是earth sshearishmac mac对吧,宝贝,对吧就a semi inance mac对吧。
嗯然后呢呃这个时候呢这个如果大家对女装感兴趣啊,我真的建议大家去研究一下,就是说你怎么在这个定向的图,the render graph上面,你重新把这个在图像的图上面。
那个不要说grass series,你这套东西你可以重新自己给重新研究一下啊,我觉得这个,描述描述max的关于特定的属性要什么没有啊对吧,你他只是说我们前面的东西就是说这个拉胯是矩阵对吧。
你在grass上面的拉胯是矩阵,实际上就两种嘛对吧,一种就是说这种normalize unnmalized on lai,一种就是more unnally normalize max。
上面你定义的画质呢,因为你每个每一个我tx实际上它是有一个position的,就可以,它是实际上是一个manifold的一个ftation对吧,对the memical的一个potiation。
实际上它的拉胯其是第一的要更丰富一点,不同的定义的方法,在那个g2007 年,有一个叫做not fashion offeroperator的那个not be relax这样的concer。
然后呢有些poverty,然后再compare这些东西对吧好吧,然后你如果变成这个surprise的模样,实际这个东西就非常复杂了,当然这个东西也非常复杂了啊,我觉得就是啊就是没有这个就是没有这个。
就是非常复杂啊,如果大家对你有感兴趣,可以想想这个direct gram上面应该可不是第一拉胯子,我这里讲一种定义的方法啊,他实际上是把这个graph又改变了,他是做什么呢,他是做了一个。
就是说首先你要grass market对吧,就是说你有几种logo这种pattern对吧,这个比如说在social network里面,比如说a和b h b的朋友,b c的朋友来a就是c的朋友对吧。
它有一些这种pattern对吧,然后呢你怎么干的,你就是第一首先定义,比如说这里第三种这种promoting对吧,然后呢你就把一个五一个一个核心理学的js里面选编的一个cc面,选择重点啊,主要就是说。
你就看这个grab morty对吧,就是说他跟这个它它这个图里面是存在的,它是不存在的,实际上怎么说,你是第一个multipjs and magic对吧,就是说,对吧它还是一个对吧。
你比如说对于某每一个这个market对吧,你都可以定义一个m1 ,就是这就是说啊一个what time,对不对,它跟这个motif,它有几个那个相邻和morty对吧,他跟几个motif相邻。
每个国菜对吧,然后你就可以定义一个这个address making对吧,这是一个symmetric mac,他跟他他的idea就是说首先就是说他不要跟这个传统的water x直接省making。
它是它是那个类似的对吧,它是类似的嗯,对吧它是grap motive对吧,然后呢你就可以把这个你就把这个,你把这个东西把它给转成八八子对吧,就是它的行和列和那个载入门减去这个东西就可以啊。
你可以做这个什么,这对于每一个mari对吧,都可以有一个拉普拉斯矩阵对吧,然后呢这个multimnet呢实际上它就是嗯它实际上就是一种la ja和aa,对对。
它实际上就是说你对于某一个对于每一个那个motive,对不对,你都可以把它定义一个这样的operation对吧,其实这阿尔法呢就是它的口语finition就是michao和build和三对吧。
那就定一个这个东西啊,可是这个后面没什么关系,前面实际上说白了就你用一种这种camper的思想,对不对,就是一个月的multiplier对吧,你用的tegr,你把一个有效的筹转化成一个无效的啊。
哎这个思想我觉得这个好像很影响很影响,对吧,实际上呃这些钱这个vlog就是你怎么在这个bbc上面,是你第一次懂representation对吧,他是这些东西是相关的,我说一下。
今天因为那个就是因为那个game创建嘛啊,game创建也那个密码稍微出了点问题,所以我15分钟以后我再开个抱歉啊抱歉,ok,对吧,实际上你就可以用这种东西去补充了对吧,你要这么解决计划。
就就说这种考核都神啊,或者这种有可能你会定义的无效图上面啊,比如说你有一个direct citation network对吧,你可以把它转转化成这个motive,用了他的拉普拉斯矩阵对吧。
对icon viconveer来定义这个呃operation对啊,这个东西是很明确的,然后他比了一下,因为你这个东西,你这个work tation跟bd嘛上,就是说你的这个position是对吧。
就fpation中肯定是要红的,那就multi质量就更witch,更witch,这种思想的话,其实在three sh上面也也也也也可以利用好吧。
然后你就可以produce sequence和const grass和nm club,好,我这个就不讲了好吧,然后我下面讲讲这个,我这边就可以简单提一下这个动漫啊。
fly的id和这个the morning idea,然后现在我们讲讲这个mmatch fly对吧,就是就是实际上就是说你像这个energy做pin max police,你知道就是。
你把一个民营位置不断的做简化嘛对吧,不不断的做简化,然后这个呃比如说四个p首,最后就选一个最大的对吧,mac上面你说py呢,实际上就是说你max上面说妇女呢。
实际上就是说你不断的对这个这个这个这个这个这个这个mesh是吧,你不带南省mash t,然后嗯,然后你你在simplified的时候,实际上是把两个破解成一个嘛对吧,这个时候你也是一种破零对吧。
这个东西的话可以说在那个mac里面就有了,好吧好,然后我再讲一下,就是说special面的这个chinbose小麦,那应该是对吧,就是说实际上是什么意思呢,就是说传统的传统的这个卡不群。
当在也比较低的对吧,他立了一个bug,然后我们再去做,可能不是这个位置的,那这个在商品上面应该怎么来做呢,你们有什么想法吗,我们把这个如果平移到设备上面去,就直接平移啊,就直接前往应该怎么做。
有没有可以special special是我们刚才讲过的吗,special他直接换了一个,他是在另外一个种类去做,对不对,他不是不是真正意义上的这种随手的这种,他在special都没。
我如果真的把那个jy知道stal没有,我们应该怎么处理这个问题,平时在一个手柄上面对吧,或者就说哪个你们觉得哪一个fd或者是哪个放哪个,哪个tx在grass上面跟这个东西相关啊。
比如说如果咱们咱们这次graphics嘛对吧,哪个time跟这个东西相关啊,大家有没有有没有一个感性的这种觉得这个东西,啊不是simplification啊,是一个别的东西,你花一分钟时间想一想。
大家也直接老听我说吧啊,咱们这里只有一个学生有common,也不是理科,我那次那次s平的高考。
还有30秒,想一想,节目弹幕里是这个tt main tech max对吧,就是你你你touch mary不像是是把一个曲面上曲面的回力排除嘛对吧,这样的话你就有你如果你build了一个这样的颜色。
那你就会去破坏这个随手的卡普鲁士了对吧,但是平面上的话呢,确实你说他说话对吧,你可太太太太太太昂贵了对吧,那我们想想有没有别的办法对吧好,我们下面来讲一下,就tch pc tech mac大家学过吗。
参观啊对吧,你往一个曲面上前台吃骗过你,学文你应该学过,没有学过,不可能吧,好那就是convolution,比如说你你在那个美女说的有一点都没对吧,如果是那to有,你肯定都没。
你怎么去做这种积分的对吧对吧,什么时候做了几分了是吧,它实际上就是一种trograde in manials,上面这样就是说你要找一个progress babs对吧,然后然后你在这label子里面。
你可以去做这个,说这个卡不住线,然后问你这个内裤怎么找呢,或者你怎么把这个变成圈怎么了呢,对吧对吧,实际上就是被牵扯到一个考古路线,首先你要定一个叫logo cornfier。
然后season of holiness对吧,就是局部的一个坐标系对吧,就是u x x x x o rx,就是比如说你有一有一种办法就是your destic color对吧,就是你logo里的话。
你有一tention space,ttention direction变那个你可以,然后就可以得到这种cdc是吧,然后你就能得到这个gdc digging po。
然后呢每一个它有一个logo away对吧,就是w e w l对对吧,就是你会有一些这种,对吧,你类似于convolution,类似于convolution啊这种这种规定的规定的confection。
然后实际上呢那你就可以比如说你比如说你有高手的对吧,就是说一个谬对吧,你有一个muse,这个是,这个是中心对吧,然后西格玛打大seml,这个是covious magic,就给另一个u对吧,对对在。
在x plin对吧,x plain这个logo cos下面对吧,around the point对吧,然后你就能定义一个这样的那个看那个微信。
然后the special convolution呢实际上就是说,对吧,你固定了一个x的对吧,然后对吧,那他考录制的结果比在英语上面就是固定一个x,然后你作为的你把周围的那个做一个vk average。
那现在我们来看这个式子好吧,就是说x呢它肯定是一个固定的点对吧,然后我们要对他周围一点求积分嘛对吧,这就是卡路什么对吧,x plus和周围旁边一个点对吧。
然后w l呢实际上是u就是你这个x到x换这个距离,对不对,就是你这个x换到你被他卡全给了多少对吧,这个w l呢实际上就是在那个image内的那个fter,对不对,image面的那个fter是吧。
呃然后在这个manifold上面呢,要是用了ubi这个这个这个corda来代替对吧,这个cordia来代替来代替啊,好然后,这就是一个套路层对吧,然后呢你可以把你可以有很多的卡路程,就是很多。
比如说你在那个在那个迷你上面,你有很多钱了对吧,你可以有很多china这个卡和j要求你可以兑现对吧,你可以把这个coefficient加在一起对,加在一起对吧,然后呢就变成一个f和g的这种考古中心。
没有考到上面,就是记,这是fg的卡,我都是,就是supert嘛,对不对啊,他有些微型微型,好有了这个一次就是这个所谓的ptroph知道了,这个东西呢我要说一句是什么,他其实不难怎么去定义啊。
其实很容易想到吧,我建议的是大家如果做自己的态度的话,你你也可以进行,那那核心是什么,核心还是曲面上,这两个点是群里logo里,你要把它看成是一个言论一对吧,这样你有orientation。
你有方向对吧,你有coda概念是最难的,然后这个卡ution他比较引起的停在哪,这波它有一个这种叫做so called the 9 dk fanta对吧,就是logo里对吧,你可以重来定义对吧。
那是no ra,实际上就是jdg是xy,基本就是direction对吧,然后jdc对吧,那这个难点就是说你怎么你怎么来b这个orientation,对不对,你怎么来定义orientation对吧。
你怎么定义orientation对吧,你image上the orientation和dx还是y啊,那你在群面呢,你怎么定义orientation的,他这就有两种方式对吧,两种方式。
一种方式呢你就是在曲面上定义一个改成绿的,那么seo 20192020的时候,最晚2020的时候是有一个这样的东西呃,呃一篇paper是想怎么定义这个在局面上比这个玩个屁对吧。
然后你说这种conomical direction of,有了这fs的话,你就可以定义的,看我没有问题,还有一种方法呢就是做一个angular mac pracquire,a fire of page。
发言,有一个ping标对吧,实际上就是说你这个sea sa sa是零的ipad之间对吧,然后呢你就apply一个这种the ro实际上是他的,这是个diss,是diss,跟这个跟这个全程没有关系。
但是一个引擎发挥这个c盘呢,实际上就是说你找一个最大的对吧,你就是在c盘里面找一个最大的对吧,这样的话它就不存在一个rotation的问题对吧,它就不存在一个rotation的问题,实际上就是。
在所有的所有的方向呢做convolution,对不对,然后你你找一个最大的那个方向,在每一个点,唉呀虽然我给你丢人啊,这些东西呢这都是一些常见的,在在在tap上面装了个ution的ggi好吧。
然后呢你可以做忽略圈,从with magic对吧,你们做忽略传统,所有的这些方法都这样,把这个orientation比喻也要找到,我觉得这不这是three dimc,就是sery上面做写作。
这个conclusion跟这个在image上做ctrl选一个本质的区别,就是我们怎么来处理这个,我们怎么来处理这个orientation的问题,这是一个本质的,我觉得还没有好的solution啊。
大家可以研究啊,我觉得这次这个教学我们肯定不能feel的吧,大家我就开个头,你看像这个ac相对来说它这个他这个这个这个这个support fans对吧,就那个微型单反相对来说比较大对吧。
然后m o net实际上相对来说它就已经over,然后呢算是一些这种像你像这种呃九dc好多省内对吧,就是说你可以有你三ction专辑吧,你能有一些不同的,怎么看都会,然后最后得到那就是不同的方向对吧。
包括这个angle对吧,不同的waiting的这种pattern嘛,对不对啊,不同普通vin这种pad学出来的,那都是angel的,有一点有一定的angular,前面,对吧,然后你最后出来以后。
你可以做一个mac,呃是是是在科学上面发这个,convolution对吧,我们总结一下吧,啊总结一下就是说让你看这种方法,它第一个特点,它就是说核心要解决的是这个orientation。
一个核心是要解决orientation,一个,对吧,核心是解决i a i o n g s v,然后,还有就是你怎么去定义这个啊,怎么去定义这个考古工程,对不对。
哎怎么定义定义考古工程实际上是用了很多台词,这个detail的话,我建议大家你是个自己组合,我觉得都不难都不难,ok然后呢呃这些东西呢它也跟fusion有些关系啊,其实你看我们那个,fusion嘛。
比如说你把一个d你把一个点对不对啊,一个一个一个说明一个点,一个need一个daction对吧,从smoothing对吧,它质量就跟的确和过程对吧。
就是这个它是这个design过程是买的这个东西就是f f x t对对,t做鬼脸对吧,它是等于三位sion乘以c乘以这个f的规定就是c,你要那个什么叫做concer对吧。
就必须这么这个a a a trap fusion啊,它实际上就是说就是它不是各项同性的,各项同性的,具有各项同性,它是一个各项异性的对吧对实际上就是对吧。
实际上它就是design business position和这个是不是你看前面这个东西是一个concer,就所有地方都一样对吧,这个a vision就是前面有一个有一个tensor嘛,就a x对吧。
position direction,if you feel this position direction,这个东西呢实际上就是说还有很多incipation。
很多information implication啊,有很多ination啊,就是它使得你这个debute这个和自己的,实际上它跟这个就是我们以上就会讲,它实际上跟这个跟这个。
结果convolution也很有关系对吧,这个东西就让它更丰富对吧,比如说一种方法,就是说diffuse的时候对吧,你可以定义成每个among many,可以定义成每个东西跟这个princip相关对吧。
你沿着这个频道的方向相对来说,比如说他可以比p图的快一点对吧,举例的话要给虚度慢一点,克制这个方向对吧,那你怎么办呢,就和gradi词,你首先对它进行这个transform of the tenufo。
后面基本上给一个再传送回去对吧,然后你再做一个diversion对吧,你再做一个,假如选对吧,然后,对吧,然后呢这个东西那个前面是个office就可以,对吧,然后你就可以对吧。
你可以定个p打一个被动打花式,实际上他就做了一个这个样子,做了一个这种,哎这种这些东西呢你怎么来怎么来看这些东西呢,你就把它看成是一种就是说在学院上一些这类想法,实际就是说啊这个地方。
我他这个这个这个这个老花想问是不是传统意义上的对吧,它带有一定的这个各项符合各项异性对吧,然后呢就是说他还有一些方法呢,实际上就是说回回到了那个这个psv的吧,你可以把这个东西对吧。
你这个位置的这个魔女,你可以把它跟我们前面说的那个啊,就是说它是一个固定的嘛对吧,另外把它变成一个nero对吧,但是没有和另外都是nerable,你可以做这个备考的东西对吧,假如你可以把那个gl对吧。
就是那个随着考古工程的那个proficient吧,和mq码是吧,非常,我来了,这个东西呢也可以把它看成一个mix model,我倒是没什么。
然后呢呃一些人呢他就把这个这个这个思想把它用到了这个grass,实际上就是啊这gram上面定一个note框架,比过还有b选在这个地方是,然后你可以定义一个高深with confession是吧。
这个nfc com ution呢啊,你注意啊,就是在manager的上面,你发现没有在mango的上面,在plus上面被本质的区别是什么,就是maniphone上面。
比如说这个noble quality,它是不要给发的名字叫magic对吧,你这gram上面的话,你你每个我看他是没有没有粉丝群,没有这些东西对吧,那你需要有一个坐标对吧,你需要有个坐标,对不对,对吧。
就是这种随时可以fficient对吧,他只会好,可是突然出,这个corony对吧,就是你是怎么可以放的对吧,就是这个corny这样就是在sy上面讲这种啊,这种水平就算核心的一个事实上核心的一个一个东西。
核心的一个东西,核心的一个东西,你怎么来听说你把这个框里面,然后我们可以做一个简单的比较嘛对吧,跟我们讲,在这个方法是把刚开始提到的对吧,你把它传送到一个flada都扛不住,tion。
像这种随手的考古都选了,他就说你在这个推手的推对吧,这个头也算对不对,然后然后得到一个,嗯对吧嗯那个这个在赛车都没,这两者相对来说呢,它也有去cnet吗,因为你这个bt这个东西实际上是什么东西呢。
实际上也是用用那个喇叭光辉的制造的对吧,实际上就是说你可以把它认为是他在说special cover lotion是吧,只是说这个讨论是可能的,这个是错的非常大。
它是由这个拉夸拉夸斯这个把fashion这个举例的,对啊分手他们都选了,他是一个我给他一个机关这个level,然后呢还有一些graph attention network network对吧。
比如说你可以做一个nel v,对吧,你可以做一些有tension对吧,反正就tension相对来说就说你可以做一些文写的lvp,你可以做一些文写的lp。
还有一些呢就是说你比如说我们如果在gram上面定这个号选的,还有它有两种这个gram懂d,前面讲的就是说你可以morty的encode ogram,然后这个地方呢让一个graf呢,它有两个b的方式对吧。
你比如说还有个prime gr,你看你可以用more tips对吧,把augument是不符合gram吧,也可以用这个bgm对吧,就是说他的每个模块是一个是一个edge对吧。
然后两个我两个edge之间的,如果需要一个,我才是那个小编,就是这种graph,比如说在the real,比如说方案里面做graph generation的时候是很有用的啊,有很多很有些很阴间的。
结果就是你要加入一些reaggraph来说,方便满足你性是吧,哎就这种trick这种trick非常非常好的对吧,你可以你可以可以可以在这个环上靠靠,可以在这个power gram上面做个做主。
你可以把它把这个commotion呢用这个degram对吧,没有盘不好,都是,然后用那个狙我来承担第一是吧,这字都很有意义,简单来说呢就是如果你的这个encoding啊,相对来说他更更精致一些。
但它的卡牌比越大是吧,那么你的这个它的这个结果相对来说就越来越好了啊好吧,ok就是那个随手种类的对吧,随手种类后核心思想就是一个pn,然后呢就是把你弟你要你要指所有conclusion。
它不会随着你这个顶的变化而变化,这个在英语上面咱们不缺这个东西,为什对吧,你在这个科技上面,因为你每个点都会这个区域不一样对吧,那会不一样,所以怎么定义这个operation也不一好吧。
然后最后一个就是traumatic main做小magic 3 max啊,这个东西的话呢啊我就简单勾一下吧,我简单勾一下啊,实际上是max的音put设备是三块,都是700万的。
就是要满足你map过去以后,你想这个我们我们问这样一个问题吧,比如说我们可以把它做传话啊,做三的话以后最好就是一个初的麦当劳,是不是初代买封面容,那有了这个以后,我们怎么来处理这个问题呢。
我们怎么来处理这个问题呢,有了这个东西哦,对吧,你这个参数化实际上他决定比如说你大家都知道,你如果是一个决定,你这个你怎么把这个曲面给割开对吧,你看着再怎么在扫地方对吧,不能说这你看着不一样的话。
他也出问题是吧,他不一样,他也是问题,这个时候我就牵扯到你怎么怎么去hello,这些东西对吧,finally not be in need对吧,bing main选择be discortion对吧。
这些东西我们需要去handle,就是我觉得这一块啊还没做起来啊,第一个就是你要能做参数化曲面,它往往是这种必须猫狗很小很小的一部分,很小很小的一部分。
大部分大部分read model是没有这个参数画的概念,因为他可以说这种shift that mama,就是说这个东西呢没呢,就是说我们下节课啊,我们下节课会后来讨论这些东西啊,这个东西的话呢。
我希望大家提前简单的去看一些这个还有pc的呃,你懂吗,的一些一些材料吧,我希望毕刚老师应该讲过一点,下面会重点来讨论那个东西好吧,对下一任总,好吧,那这节课我们就到这吧,我们还有他应该还有三节课啊。
然后就先停课了好吧,我们希望把这个卷完这个地图等等给大家讲完吧,好吧,就是嗯这个东西呢是这样,就这么一点,我可以这么跟大家讲啊,我就相当技术技术几点了,我再要强调一下是吧,就一个就是你在这个曲面上的话。
你你怎么定义好volution,它就是一个neighborhood,怎么选取这个步骤怎么选取的问题对吧,其实其实你在车轨上面那个屋子,我全局这也不是一个统一的事啊,你可以看看希望去年的一篇文章。
但这个问题并没有完全拒绝啊,并没有完全进好吧,好吧。
GAMES203: 三维重建和理解 - P12:Lecture 12 Geometric Deep Learning III - GAMES-Webinar - BV1pw411d7aS
能听见能听见啊,好好我们接着上课啊,那个还有三节课啊,这节课我们把这个你想买这个这个深度学习给别人去玩啊,因为这个这个讲课的这个形式吧啊就是嗯像这种提高课,他有说有很多technical的东西对吧。
我们这种就是这种远程的这种没有什么太多c bank的这种方法,就是我不可能讲的,就是让大家一下子那么空洞,就是这这是一个款式啊,你像我们在在我们学校教学的话,那愿意学的老师。
现在我们是harry的model,英语老师学的学生,这些这些学生还是把课堂来的,你说生来讲好吧,然后我尽量呢我就起个什么作用呢,我尽量给大家讲一讲我自己的对吧。
一些音色就是能能给大家就是说你自己做笔私权啊,什么东西有一些启发对吧,哎我尽量能起到这个作用,好吧啊,下一节课呢我会讲这个hybrid three ver类,是我自己做的一些东西是吧。
这个我可以给你解呃,讲的更具体一点好吧,然后每一节课就是总结一下好吧,然后提一些未来的研究方向对吧,我觉得这个大家应该是很理性的好吧。
上节课呢我们讲这个primetric bomin的这个前面这个地图的方法啊,这些东西实际上就是说啊把一个把一个那个物体,把它拍到一个平面里面对吧,然后在平面里面做参数化,然后呢你有了一个特殊化了以后呢。
你就直接到就是有了这种就是这种to mention这种structure,你可以去做这个做这个深度学习,对吧啊,那一些比如说你像这个glogo transportation的办法啊,我自己也做过一篇啊。
就是跟那个周田老师合作的,它实际上就是说你做参数化以后呢,实际上就是把就给了他一个tomicro station吧,大家可以用这个standard cn对吧,去做这个去做这个convolution是吧。
然后然后实际上它就是environments to some classes transmission,参数化啊,但是这个参数它有时候它也存在。
就是我们第一节课讲的那个讲那个啊special的时候也存在一个问题,就是你这个参数化,比方你可能你这个shift它稍微改变一下对吧,你可能这个传说话他就他就没有了对吧,他他他可能就骗了对吧。
哎这是一个很大的问题对吧,然后这个embedding呢它也会明确就是distortion,也就是说你这个参数化哎,你要让他比如说你像如果是考多么的换的话的话,不像关老师对吧,他说过很多话没有工作。
它只有它实际上它是有一个scaling facts,scaling se,不是一对吧,有的地方很小也很大,这个时候你定义convolution的时候呢,哎它就会出现一些问题,出现一些问题。
然后你比如说然后呢这个有一些有一些比如你要做考核模式呢,它就签到一个这种translation vimeo对吧,但是呢你比如说这分明上它会出现一个什么问题呢,它会有一个这个就说对吧。
他有一个长安来hop server对吧,首先就是你只存,比如说你你只有在一个tals上面,tx就跟一张白纸一样,这个就是这个这个车er的这种ppology。
这个你可以把你可以把那个啊这个托尔斯切两刀对吧,可以把它变成一张纸对吧,它那个上面是没有single的这种东西的对吧,没有single point,你别的你看你看这个衣服。
你不管是这个c2 还是high high g的这种设备,这上面它都是有这个这上面都是有这个single point,single point,single point诶。
这个时候就会牵牵涉到牵涉到一些这个呃singularity对吧,不管是餐桌啊,还是你上上节课我们讲的用very cute,就是去定一个logo画面,基本对他都会有这个问题,就是他说话的话。
那那托斯就不存在这个问题对吧,那你怎么解决high dimension这种这个这个这个东西呢,那实际上你就做一些看,把它cut一个tt这种这种这种举报的对吧,或者就是把它做embedding。
就是一些就是说呃计算机图形学啊,这个结这个结合处理上面大家经常用的一些东西对吧,然后呢你也可以用一些conformal的这种思想对吧,就是说你可以把它cut开,这样就是你把这个surface cut开。
他就可以呃,可以变成一个就可以变成一个只能做参数,变成一个这个呃常规的这个tallest这种propology对吧,你就可以在上面定义的考个路程,然后这里面的这个例in the literature呢。
大家就是说的确就是很多非常有意思的idea啊,比如说你在这个时代是在这秀的对吧,就说你做参数化,一般情况下比如说金的zo的surface对吧,你做参数化,你需要有三个点对吧。
然后呢你选这三个点去去看的开对吧,然后把这个收卡的开,然后呢你就能得到一个传话是吧,那有时候你就会问了那个哪些点呢,去哪些点make sense呢,比如这篇文章就说那我们就多取一点点。
然后做多个参数啊对吧,做这个汤的话呢,以后呢,然后我们把这些结果呢把它给一个人在一起,就做一个这个,比如说ensemble对吧,这个时候呢当你sample很多读点的时候呢,据说他的话你换一个shift。
你也sample很多张很多triplets,哎我觉得这个id很确实,你具体怎么做这个东西,我也对这个东西可能也不是那么强嘛,但这个第二个人可以很确实对吧,我这我再讲一遍。
就是说假设你有两个shake对吧,你要把它给拍成一个平面呃,你像机的是groll的话呢,一般情况下你如果做confer station,那你一般取三个点对吧,当你去三个点具体怎么做,你可能不用那么纠呃。
就不要那么那个就是就写在那上面啊,比如说你就取这个pose for exampling是吧,那你不同的shape就shift变了以后,你可能取得这三个点也在变对吧,这就出问题了,那怎么改变这个东西呢。
你就可以取多个triple,对不对,然后你身后那个结果啊,ensemble那个结果对吧,ensemble这个结果对不对,取多个点以后,in seo这个结果,对吧。
然后这个时候呢你换你这个shift变的时候呢,你这个insulin的这个比较的呀,但第一个缺水的可能不一样,但是你三步的结果应该是我也差不多,就是这个确认是order发生改变对吧。
哎这是一个很popular的idea啊,这时我觉得基本上就是说能更efficient去解决这个,可以随性的去解决这个呃,就是说这个参数化的问题啊,参数化其实是一个很难的问题,一个很难的问题对吧。
你比如说你可以用这个可以用不同的这个参数的话去做闪退,然后把它ap也在这个,啊这是另外一个结果,哎这里面有很多很多英雄是这东西,我包天啊,这些东西。
ok就是说然后你看这个这个gmagic deep learning啊,还有很多lication在graphics for three division啊,我们应该会会touch一些对吧,就比如说。
反正他有很多很多这样的pk,比如说你除了这比如说你有老老实实谁是谁啊,你可以定个pal st对吧,你你可以把它把它p的造型重现出来,你可以找这个corona可以。
然后你可以把这个teenshift deformed profit对吧,用这个前面这个地方,你去算这个比赛地图名字啊啊这个是这个方向呢,我觉得,还是有很多可以做的,还是有很多可以做的啊。
像这里历历史的都是一些传统的是rnature对吧,他们实际上都可以被啊,都可以被那个deep count发给,就是都有一些deep learning的方法重现诶,然后。
比如说你还有这种task for this specific spa,去做respondence,去翻这些行为,这个deep learning我觉得做这些他可能都有一些常驻的进攻强度的进攻。
然后呢呃我们下节课会讲一个这个shift reputation,那个我们讲了,他们讲surface space,然后这个point cloud对吧,我们简单的提了一下。
像换nmentation这种faction,就是他只是说,嗯改进于衣服的,做一个衣服的穿孔,然后做这个mp,然后做fish选手,再把它压根连在一起,就变成一个output。
比如point i有这ation啊,然后你像那个tnt有一些expansion,就是网页对吧,就是那个m i t对吧,他做这个东西就是说我不仅仅是在这个后面上走时,我可以建议写h pture b对吧。
然后你可以做一些方面推荐rvg选手会是吧,on the neighborhood,主要你可以做edge conut,对,做edge polo啊,其实对普通你呢,我觉得在实际上已经发生很多了。
现在其实有点卷了,真的要做比这些的话,我觉得,也可以做对吧,呃我真的我介意的是什么呢,就是说你真的要做这些东西呢,你还是把我以前就是讲这些背景等等的这些东西给找的,老对吧啊。
你有一个很好的对这个整个fd有一个很好的思想,这个是这个是比较重要的啊,这个是比较重要的,基本就是有一个很很好的视角啊,这个非常重要,嗯像这种也许卡不住线,其实思想都很简单。
但是文章反射性甩在也都很高嘛,像这种vigation,你可以有各种吧,你可以not plus some吗,像是max啊,算了吧,这个你像这种g h的一费用的东西,你看你这种bmi graph。
dynamic graph的,对啊你可以用ivable是吧,那你放这些这些可能对这些rap啊,但是最开始这篇文章还说一点呢,就是好多时候啊嗯你可能一开始的时候对吧,你可能一开始的时候。
你这个在一个tx杠呃,demonstrate它的proformance不一定提高了特别多,你看这篇文章又提高了2%嘛对吧,但是对吧,你如果一个方法他比较能填入java对吧。
他就能慢慢的慢慢的提高很多对吧,你想妍妍他们做这个point cn对吧,这也是一个例子吧,比如说啊ok对吧,你可以对啊,你看这个呃像这种dimi grafdm对吧,因为它涵盖它有更多的信息嘛对吧。
直接到嗯,就是已经成为一个呃成为一个这个呃大家用的比较多的一个一个bt了,好吧,我在这里想讲什么呢,就是说你像这些rk 30,就是说我总觉得就是作为事实,不应该一个field。
不应该由一个architecture对吧,或者一个东西给定对吧,其实而是要追求它本质的东西,所以现在本质的东西对吧,其实核心的东西嗯还是点名他是一个exquisition of一个manifold对吧。
我们你不管是破案的还是这个展开为g cn对吧,它实际上它还是有一定的阿特拉分手后,这玩意没什么关nt稍微不一样,到底种更接近于这种,为什么买手机,但是有一些不一样的对吧,有些不一样的啊。
但是归根结底还是要有一些安装一个pcion,对啊,你像图形学这个领域,对不对,我说的是不管是我们做synthesis还是做a loves,还是做这个手柄上的editing这些东西,对不对。
还是说这些东西,归根结底对吧,还是就就那么几个思想对吧,就一个就是manifold的思想,对不对,在上面啊,像这个小much deep learning。
它是一种它是从maniphone这个角度来的对吧,但是你把它第四块dirt成一个match或者dirt一个point out对吧,这方面的工作相对来说对吧,它是有很多变化,简单归根结底他也把他们分成。
还有一种就是appropriation theory对吧,你比如说be supplied privational services对吧,哎a potiation theory。
那么它解决一些logo的问题对吧,哎我觉得吉普森也往在sb上面往后发展,还是离不开这两个东西,离不开这两个东西啊对吧,然后呢当然还有一些别的这个呃应用了对吧,你可以说这个,只用了kn grab。
就这个graph实际上说白了就是说,对吧,这个问题我会复述一下,就d tcn中使用了天国,还有哪些怪物,就是这个flash是什么呢,就是说其实它牵涉到一个什么。
牵涉到你哪些point的之前他必须有interaction,对线point之间它必须它会有inteaction,一般英文是ighboring the point跟neighboring point。
它有一定的pg,嗯,对吧,然后,归根结底还是那些point,还有一些口味吧,我觉得这就是一种paper city东西对吧,一个一个说你可以定一些logo fish对吧。
你可以定义一些这个你比如说这个这个太阳grab cnsa是怎么定义的,到底是specially更近还是比如说model跟进还是什么东西,这些东西都可以可以去探究的是吧,都可以去探究的。
包括你这个ten ten gram应该怎么construct,对啊,这都是可以去探求的,ok当然你像ez和一个抛出来的architect出来,它都会有很多extension是吧。
哎比如s three d d s它是另外一种参数啊,比如说你还可以用这个这个东西作为normal prediction对吧,其实这个比如说这个bgcn。
他跟这个it’s a special technique对吧,也能做nor prediction,他们有什么不一样呢,他们有什么不一样呢。
你special technique它实际上它是在一种reduce basin上面做的对吧,它是一种在reduce bc上做的d j c n啊,实际上他是在一种什么被上面说的。
它实际上在一种就是tone,就tm那个level的这种上面做的对吧,做做的这种direction对吧,好你比如说这个match对我们讲过cod,我们再讲讲这个match,comesh,我们上次讲对吧。
所以说啊你在mac上呢你可以定一个ighborhood对吧,然后你可以在这个neighborhood上面做convolution对吧,然后你可以定义很多patch,每个patch他就决定了。
他都都决定一个拍手会太少不了对吧,解local with local with a with,respect gossi,ok这是我们上节课讲的对吧,你比如说你可以你可以用这个gn对吧。
这个graph当中你可以弄一些scription,比如说你可以not discript,它有个training set,比如说他有这个,你可以甚至可以在一个shift上面去呢对吧。
这个相邻点它的这个对吧,它的这个descript要更近对吧,不同的点descript要不一样对吧,可以在一个shift上面去学这个东西呃这个东西其实很对,其实说。
你讲这些东西你都可以不需要光的choose,是不需要光的choose对吧,学每一个点都进行编辑,比如说你像这种t的,可能c的选用这种w k s的这个y y y y x对吧。
然后你可以看出就是说还有一个什么特点呢,就是说你像这种传统的这种hhcl,就是说实际上是用special得到,你会发现在很大一块区域,他这个descriptor它不是那么discrimint对吧。
就是很多区域对吧,他这个变化非常非常小啊,这样的话呢你做mc的时候就不是那么啊不是那么容易对吧,你像这wk稍微好一点,但实际上呢就是黑了hk s,它好处就是基本上相对来说可以very对吧。
就是说你不能shape这个对应的点放个体数字的相近,那那个缺点就是你可能一个source cf上面一个点,那么你可能对应一个围着很多地方对吧,它不是那么几冲w k s呢。
它discriminate有一点,但是它就不能和stm,你看这个学的这个description呢,相对来说它这个变化就更大对吧,同他替考system对不对,继承sim同时呢这个变化也也也也比较大对吧。
哎我觉得这个东西呢你比如说你怎么去,你如果比如说我们要处理sweet shift,那这种比较pop popular in videspic,这是一个我觉得比较比较比较阴沉的东西,比较阴沉。
要硬解释点东西对吧,然后你看这个diaequality comparison对吧,所以才有matches for,就是跟学的这个东西啊,相对来说像那个机械学的东西,它就叫这one is ne。
但同时呢他也是一个什么,它其实它其实是一个啊,就是你可以直接在一个毛手上缺人学的东西,他也不需要那种sense correspondency,对吧,你不要包括说对吧,你可以你甚至你也可以学学一些这种。
但是它有不同training的办法对吧,你可以找一些这个呃这个dk的ground truth for respondence对吧,然后去学一个cn对吧,curing和一个reference对吧。
然后你可以把这两者可以用一个实验去说啊,这两者这两个点之间的那个对吧,这个地图都要尽量去接近对吧,还有不同的学习的办法,那核心呢还是就是说你要有一个基因的结构。
你take a shape对吧啊simple就不断的在这个shape上面做convolution,最好要得到每一个点上面的那个exclu,其实这个东西很影响水平,比如说你如果能在车上面做。
你也可以再切我搜索net work方面去做对吧,你得上每个国泰的这种区别,就这个简单,这个定并不能拧,这个东西应运用还是很广的,运用其实还是很广,啊对吧,呃核心就是你能build一个gram对吧。
那是他们地方看到过去对吧,你可以当然你可以说你可以定一些这个对吧,定一些这个distance就dition distance对吧,你可以去做一些valation,就说同样的道理。
也就是说你比如说这个东西能显著的提高,显著的提高这个比如说ponship match fly,像变不然的引擎推man对像这种这个东西。
实际上这是一种save them on super mamasage对吧,如果你给他一些gm true correspondence对吧,然后你去就是去autimize。
然后你需要training给他bm,他不需要training给他的对吧,你能显著的提高啊,这个还是很好,ok对吧,比如说你可以跟brand intrc map,你可以跟这个九dac对吧。
你看这个相对来说这quality还是要好很多,你电话很多的,但是一个challenge ka你明显看出一个什么问题没有,你们有没有看出什么问题,这个error你看繁体确实map它相似。
它的error变化是比较实木的,你看这个去年出来的对吧,因为你是去那是没个点嘛对吧,其实你没有enforce,比如说什么这个correspondence还要怎么样,他要是mooth对吧,它有光滑对吧。
没有enforce这个东西,哎这个时候呢你会发现这个结果他会有一定的跳跃性对吧,那怎么那比如说你怎么能保证这个这个nt这个descriptor对吧,你做mc的时候,你们怎么能保证它是什么分类呢。
这个需要的时候呢,你就需要在这个上面加一些structure pri,加一些spt structual pri,来handle这个问题,来handle这个问题,好吧这个东西我觉得还是值得研究啊。
觉得我是值得研究的这个shift mine,特别是我觉得你比如说你做一个方法,如果你比如说给你两个shift对吧,你能自动的把一个shift texture全锁到另外一个shift上去啊。
啊我觉得现在这个还没有特别鲁棒的方法,真的就low了,两个shift就能穿出来,还没有特别鲁棒的方法对吧,如果我们能找到特别鲁莽的方法,我们就来解决这个问题,all right对吧。
那你像这个shop cn对吧,那还是存在这个问题,对他有一些突变对吧,也还是有些问题啊,这个像像像这个地方对吧,他就是relatively,它要比别的好,但是你仔细看的话,它还是有些难模式。
像这种local对吧,但还是有些看见没有,这个地方还是有些ption啊,对一些低俗,就是我当你改变部分arc tx,它能变得更好对吧,但是啊你怎么能保证对吧,我就提这样一个问题给大家。
怎么能保证这个东西既不能给这个出来,这个correspond在线上面他们smooth对吧,这个是smooth呢,在image里面有对吧,比如说strual prediction。
但是你在shift上面这个数值它是有具体的几何含义的对吧,比如说你这个diss是要保持对吧,比如说你要保持这个这个mapping,the visu,他要考formal,他要how py对吧。
哎你怎么能对吧,其实你像在grass里面,1998年到2004年吧,呃我2005年对吧,当然这个inter surface mac这个问题大家研究了很长时间啊。
就是比如说最开始用参数化来那个最近就解决优化啊,但是,对吧,但是我说实话我说实话对吧,就是没有一个方法真的能做的,没有一个方法真的就是说到现在为止,你包括上地平线,没有一个方法真的能做的很好。
真的是真正意义上能做的非常好啊,这还是一个challenge,那地图有我敢说,实际上呃慢慢的慢慢的如果能解决这个问题,对我觉得应该是这种是就是open的那个door吧,去解决这个问题。
这个问题为什么重要呢,比如说08年的时候,很久以前那个大赛不出psp的时候去一个公司实习对吧,然后有个人就跟我讲,他说比如说我们当时他是当时做动画,我不知道现在怎么样做动画。
你要把一个这么一个一个一个安排上门,你切到另外一个凹陷上面对吧,当时就是要搞一个这个东西,他们要求就可能在在interactive的环境下,一分钟能搞定是吧,其实这个东西很昂贵的,你做movie的时候。
好多时候你需要很多这样的东西,有时候一帧一帧的去搞对吧,我觉得这是一个不错的问题,对吧对吧,这个这个我是前面这几个slide对吧啊,就是说大家可以去看对吧,就是就是开始开始就是2016年。
其实现在最好的结果也没比这好多少是吧,哎这个方向的进展并不大,对吧,实际上还是有很多问题,像这种non smooth这种东西,就是我觉得他是一个相对来说就是说还是需要解决的,然后呢当然还有一些别的方法。
比如说把cospd变成一个classification的问题对吧,甚至有时候你可以把correspondent变成一个soft correspondence是吧,就是。
呃你怎么解决这个尖锐c ation error,对不对,ok然后解决这个smoothness呢一个potential solution呢,就是用functional man对吧,就是说。
就说你你用这个reduce the basis to realize the correspondence,regularize correspondence。
然后呢你你可以哎你可以recovery correspondence对吧,你可以可以用用那个fashion man,可以去duce这个point west correspond,好那大家呢实际上就。
比如说有很多人他就研究了这个呃,在这个fushmap的这种flow下面,我怎么去怎么去那个比如说你可以实际上这个question one,这个t这个是那个这个interface的map。
不在final的这个杯子下面,实际上最automc对吧,这个f,然后你可以就是说你可以用一种在这个final map上面呢,你可以定一个也可以用于grapdn的。
然后你去match这种corresponding的这个这个这个对吧,然后呢你可以把这个function marks这个framework呢。
跟这个传统的传统的这个descriptor这个framework可能不能结合在一起对吧,就是说你首先算每个shape上的description,算上这个description。
你不直接用这个description呢来做performance对吧,如果我们直接用descriptor来做performance,我们前面讲了对吧,最好也就做到这个样子对吧。
这篇文章呢他做了一个什么事情呢,嗯实际上他是把这个french map这个friend work,把它用用成一种用来做这个strual condition对吧。
就是说我我我给这个单手fal的一些disputed,对不对,你match这个description,同时呢我加个reaccusation,就是说你对这个frap跟我下面的啊。
比如说hrequency fanction,就是那个fast for you,比如说那个就是比如cis那个emc对吧。
你不可能map到那个like a mark of love with low frequens,对吧对吧,嗯这个是不可能match,这这这这是不可能match对吧,这是不可能卖出对吧。
然后你加一个这样的regulation以后呢,你就能改变你就能改变这个这个这个overfitting或者就是nsmoothness啊,但这个问题也没有完全解决,但实际上这个思想很简单啊。
这篇文章其实我觉得这是很有名的,就是说你把它你把这两个东西,你把这两个东西啊spa match以后,然后用fashimap之后,你就spin out的soft for formance对吧。
然后你就可以在这上面加log对吧,你可以在这上面加lo啊,你可以在这上面叫老师啊,对吧,这样子也可以enter and to train,enter and train,它有一个fmp内页对吧。
这个soft correspondence之类,这个时候呢这个fal mac它实际上这个performance加上这个smoothness以后,你就会发现什么比这个是吧,这条线啊。
我们看这个线它实际上是那个conomize那个东西得到的对吧,it’s just a fashion map fmap,它要求就是这两个shape。
新的样子还是相对来说比较as x metric environment,对不对,as mc environment,对吧啊对吧,但是在听类似的这种assumption的情况下,你可以看这个课。
基本上接近100%对吧,求这个mona对吧,就是你加了一些,你加了你加了这个stronger production,on the final my framework对吧,和不加这个还是有本质区别。
好吧嗯我这门课我尽量不给大家去讲network design,好吧,就是什么有100个点phone loud的point nt对吧,我我每个network我都给你讲一遍,我也不自己不太喜欢那些东西对吧。
而且我觉得那样其实他对工业界比较有用对吧,我觉得从学数学界的角度来讲,还是我们还是要讲这个framework对吧,各种tech件是怎么发展的,怎么融合啊,我想把最后介绍给大家吧,ok啊alright。
然后你比如说啊这种pop,所以我们可以做这个,比如说你就是这种方式,而这个问题这个就是个fmc,所以我们下面没有完全解决啊,我觉得这个嗯怎么把这个问题完全解决啊,还是需要花一番功夫的啊。
需要花一番功夫的啊对吧,你比如说你input can corresponse,reference shinformation of the reshape,然后,对吧,然后呢接着呢大家就抵上了一份。
在这个基础上呢,后面大家去上一些别的东西,intensive auto improdu,对不对,就比如说你可以啊,这是另外一个architect对吧,就是说比如说你在这个shift上面。
在image上面vh auto encoder怎么把它变到shift上面来,大家做了一些做了一些工作啊,做了一些工作对吧,实际上。
比如说你怎么在point cos上面做decoder encoder对吧,我觉得这个问题没有解决,那mac上也没有解决,也没有完全解决一些工作对吧,比如说decode code,有了这个东西以后呢。
也会用把那个encoder decoder拿出来,你可以做shape of ption,你可以把这个shift左shift of fashi,这个decoder coder是怎么来的,那实际上就是说啊。
比如说image上面做decoding code怎么来的,啊在英语上面做这个,那你就是对这个image simplification对吧,然后对image super resolution对吧。
然后加一些这种convolution,deconvolution是吧,这种就好,哎这个module在mac上面他统一同样的对吧,你可以对match做什么,也可以选择。
像这个地方它实际上是在把不同的layer上面,对不同的这个位置选上面做对吧,然后你再做抵抗路线的出来,对吧,这是一些结果对吧,这是一部的对吧,这是ground truth对吧。
你比如说呃我们可以分析一下吧,比如说就是input对吧,非常smart,这是ground truth对吧,如果你直接用ption service construction。
这答案就是说他自己c不c2 be construction对吧,这个它就相对来说它只能保证这个what太对吧,其他的其他的这个东西统统都没有对吧,哎你稍等一下啊,好一,对吧。
然后你比如说psi co出来对吧,然后你可以找neighbor对吧,找nsnaver对吧,你看这个nesnaver就跟这个网址区别太大了对吧,如果你做这种这种没有对吧,那一种特殊的价格的话。
就基本上还能重建的不错啊,还能重建的不错,你看上面这一排是什么,但是这里面它还会有一些培训的东西,在有些偶尔推荐的东西,就是这个human这个东西啊。
在这个graphic vision里面都相当重要的对吧,你比如说比如说这个human嘛,他直接有很多应用嘛对吧,比如说这种无耻的那条做工啊,这上面呢你比如最近有一些什么这个一些一些数据。
一些three d的这种数据啊对吧,海量的数据,比如说pi应该是在这个房价,现在是一个地震,啊那这个东西呢嗯现在我家我觉得将来会变得越来越重要啊,国内我觉得小薇啊,夜莺啊等等等等对吧。
虚荣啊对啊等等等等,有很多做,我觉得human就是约会越来越重要,你像现在这个imitation learning对吧,机器人去学人的那个performance来对吧,嗯像这种rl。
因为tx能力越来越期待也好,我觉得human在这种方面上会有一些长度的发展,但是你要问我这个human现在那就是你怎么在复杂场景下面对吧,你比如说你能戴个帽子对吧,你穿很厚的衣服对吧。
你能跟这个object有很多interaction对吧,包括你这种对吧,你你在这种很个人跟also interaction对吧,你在这种方面下面上,你怎么去,你怎么去处理这些问题。
你看这些example相对来说它是一些max max这种对吧,就是比较简单的这种remodel对吧,但是你说shape才有vation的,但是我们怎么在复杂场景下面来把这个问题做好啊。
我觉得这是很有用的对吧,你比如说imitation learning,为什么是imitation learning,实际上其实就是人跟物体嘛,人和物体的interaction对吧。
哎我们如果我们要把这个东西重建好,理解好,我觉得不是那么简单,一件事情,就是如果大家有兴趣的话,可以往这方面去看一看,这方面c的set的也不错,哎对吧,你现在都是一些这个混cos来的again。
就是说是一个single human是怎么把human跟这个物体啊,等你包括这个我选择从从从从结了,这是很重要的,对这些都是一些shift combition的那种example好。
今天这节课呢我们就讲到这好吧,然后下节课呢可能时间会稍微长一点,我会讲一些这个自己的东西啊,然后再加以后我们就停课了是吧,然后我这里再花点时间给大家总结一下吧。
我反复强调一个就是这个井买这个地图能领这个东西,我觉得是啊,这个sweet deep learning对吧,我觉得是一个给大家提供了一个思路吧,啊一个思路去思考这个问题对吧。
嗯但是呢如果大家真正感兴趣的,真正感兴趣的,我觉得还是需要打好基础对吧,你可以把我前面那些讲point cod processing,match processing这些东西,你可以再拿过来。
再再再看一看对吧啊,我觉得那些文章主要在我们在课程主页上的那些文章,你可以再读一读,哎我觉得都是很有帮助的,这个three d呢解完这个地图能力呢,我觉得呃,对也就开个头对吧,实际场景桌面也是。
这问题很复杂对吧,on top driving,这些东西啊,各方面都非常非常复杂,非常非常复杂啊,就是说嗯像我们现在研究这个东西,它跟这个实际的这个还是还是有一定的差距的,实际的东西它是有一定的差距的。
好吧就到这好吧,然后下节课你们都来听好吧,我会讲一点多讲一点东西。
GAMES203: 三维重建和理解 - P13:Lecture 13 Hybrid 3D Representations - GAMES-Webinar - BV1pw411d7aS
hello,hello,好我们开始上课啊,啊主要讲一些我自己做的东西,但是这个歌舞非常广啊,其实我发现有很多文章,虽然大家实际不这么叫,但是呃这个思想基本上第四好吧,嗯我个人觉得呢这是一个三维物体。
三维那个,学习里面一个很重要的问题啊,很重要的问题,我个人觉得这里面有很多en po,然后呢呃我也会想为什么这个东西他的追根溯源吧,这个追根溯源啊,其实这个东西从哪来的,我待会想到从同一学对吧。
包括工业制造对吧,其中和很多工业设计的软件,他肯定都是用各种各种representation来表示的,这个东西,然后呢这个东西呢你diss能力的角度来说。
他也跟一些就eral理论深度学习的一些东西它是相关的好吧,哎然后当我们回顾一下三维视觉对吧,三维视觉实际上就是说最开始我们研究的就是充电对吧,重建这个问题它是非常重要的对吧。
我们有一些基本的problem啊,然后呢这个data来了以后呢,data来了以后呢,这个就改变了对吧。
以前我们现在实际上就是three d的一个machine learning a three d machine learning era,我们这么讲了,着重讲了这个东西对吧。
呃其实最开始我们一定the learning这样子学to d对吧,就是说to d怎么用吗,选learning呢,我们three d就怎么用对吧,最开始任何一个学科嘛。
你想最开始启蒙的阶段肯定都是这样的对吧,都是抄码,也不能,我们不能说是抄模仿对吧,哎这是任何一个东西都是避免不了的,好慢慢的呢,现在three d我们有自己的理论架构了对吧。
比如说小magic deep learning point that系列,对吧啊我觉得这个hybrid这个东西,它实际上慢慢的他也会一些这个理论的体现出来啊,我今天会给大家勾一些对吧。
但实际上这个东西刚刚起来对吧,我觉得啊这个sd这一块是非常非常非常影响啊,呃原因就是首先ser来了。
ser来了对吧,然后我们呃你可以看这个switch,实际上这个sd 15年以后嘛,我们大量的做and standing啊,比较interesting呢,就是在这个呃我自己讲点比较阴沉沉的东西。
就是比较硬,就2015年以前啊,其实它有两个病毒吧对吧,一个revision,一个是jping对吧,大家都做重建对吧,都做重建,但是revidivision呢他说image重建对吧。
这个理论体就是不一样的对吧,你这个chara motion motiv stereo对吧,这个理论体系对吧,这个整个这个学科的体系,他们都是三维的重建对吧,它完全不一样对吧。
从天上来的都做registration对吧,你做什么都会加权,也必须收费对吧,各种各种这种呃representation之间的转换对吧,哎这是两个不同的学科对吧,我们有钱要学boing啊。
vidivision on大一点吧,该同时选择更多嘛,the gas processing graph,一个一个bu,然后不理解到了,and penny以后只要跨three data。
你首先发现就是这两拨人啊,他同时都开始他有融合对吧,有对吧,然后发发多发那个vision conference对吧,然后the post尽量的慢的接近了对吧,对比data了对吧。
当然当然一个主要的贡献我觉得是在第4年对吧,他这个这个framework上面啊,把把这些东西融合在一起了好吧,然后这个数字呢我觉得以发展的不错对吧,然后但是我觉得还是很多问题都没有。
我并不认为呃他是一个啊bato对吧,但是还有很多问题啊,我觉得呃从同业学的角度来说,就是呃怎么大家怎么把这个以前是我们同一学里面,大家用到的这些东西对吧,我们把它把它我靠这个音音轨道。
这个learning这个在你这个里面来啊,我觉得这是很重要的,好and standing,但是有一点很重要的,就是你这个qd vision的regiment的这两个东西相对吧,你到底区别在哪对吧。
区别在哪对吧,可以说你从一个task的角度来说,这两个队友基本上是没有什么区别对吧,都做了分类是吧,都做cc的,都做几下室对吧,区别在哪。
区别其实你可以从一个machine learning的角度来讲对吧,就是machine learning角度来讲,比如说像不管是直接讲rap对吧,这个robotic大家处理模型的这个问题的话。
它都有一个so called data representation对吧,就是你input的对吧,你这个页面都是一个label,或者你首先牵涉的就是你只好把它表现成你所表述的bwise。
real pieos对吧,然后output也是一个vex不一,然后中间呢你就会build一个ml对吧,它只有我们只有几种不几种那种表示形式对吧,你现在看下面一个就是graph graph的话。
实际上最后大家也把它表示以后,大家可以b成员知道,那这样的稍微不一样一点对吧,唉但是归根结底呢就是你应付的data output,the data,它有很多种表示形式对吧。
但是你这种tramati的这种data representation就没有那么系统,对吧啊这个问题呢其实在秋季是比较好解决的对吧,因为比如说因为进来它就是一种可能会表示对吧。
但是如果你看这个three d啊,实际上相对来说它就会非常非常复杂对吧,你觉得你可以看他说对吧,我们有很多种这种表述的形式对我们都讲了。
然后呢呃每一种形式呢大家都develop这个diss diss mnel对吧,dio那种去handle这些东西,对每一种形式我们都都develop,最开始的是vn match对吧。
这里面下一个就是multiview对吧,我前面讲过对吧,因为这个东西是跟那个vision最相关的,所以这两个b这两个rap vision是最先起来的,然后后来呢一个突破就是point cloud。
对吧对吧,the parametric surface,当然也有一些,也有一些那个那个那个那个结果,对吧好,然后拖进到突破以后,能慢慢的我们就有权利的man对吧。
我们要看concept for young,对不对,这是representation的形,但是实际上呢就是任何一种representation啊,它都是有优势对吧,同时也有一些缺陷的,同时有些缺陷的啊。
所以呢我们想法呢比如说你甚至当你这个东西你也牵扯到,比如说你这个output的对吧,是怎么去ecode,比如说你arc帮你挂,哎你把这个东西已经扣成成一个那个bank的形式。
让was the deep learning output,这也是什么,这也是其实有多种表示的形式的对吧,多种表示形式的啊,哎就是说这个这个representation呢。
实际上就是说一个观点就是什么呢,就是任何一种表现形式,它会有优点也有缺点啊,啊我会从啊,我会从不同的角度去看这个问题啊,我觉得这个蛮重要的,首先呢就是说你比如说我们我们知道这个graphics里面呃。
其实这个representation在deep learning出来之前呢,这个rap可以研究的最多的就是mi rap,这就是graphic。
the graphics也需要representation对吧,你比如说graphics my client,我们都要做重建,然后又说要做rendering,对不对。
然后你就需要把一个三维的物体表示表示在一个virtual environment,然后最开始大家比如说那国家队里面就讲,那么既然我们这类有一种统一的这种representation。
能handle所有的事情对吧,然后大家插了这个,首先出了这个inclusion surface,然后发现这个random是很难的啊,random是很难的。
然后我们try try了这个point cloud,对不对,就要唱tanga mesh对吧,它不编辑很重要,对不对,但是你有重建的问题,对不对,你有propology的问题,对吧啊对吧。
这个东西其实mac处理处理起来特别是在2000年初的时候,这个99年的时候,这个计算机还不是很快嘛对吧,你这个match相对来说它的这个over over over here是很大的。
然后呢2001年到07年99年吧,2000年开始对我讲了一个phone loud representation对吧,然后,因为这个关卡直接从scandal来嘛。
那个时候scandal慢慢的就进入进入就是小型化嘛,就大家慢慢能买得起的对吧,但是chara是个ram pcr,那么关卡呢第一个呢就是你怎么把它重建成一个burberry对吧。
唉这个问题就不是那么好解决,对不对,当然你还有一些别的问题对吧,但就是非婚结底呢啊它还是有一些局限性的,对不对啊,其实graphics呢后来呢从包括从2003年开始,大家就慢慢提出了一个hy的概念啊。
我用一个东西来解释这个东西对吧,它有很多种形式对吧,比如说我们是要做碰撞检测对吧,大家如果学这个robot的话对吧,这个碰撞检测应该是一个非常重要的派对吧,你两个东西能不能相撞对吧。
你做motion planning啊,坐姿更motion,这都需要做的对吧,那比如说如果我们的object是买表,可能match的这种representation,我们怎么来做碰撞检测呢,我们怎么来做。
通常检测了那一个情况就是你把所有的changl对吧,这个intersection都都都做一遍对吧,全国in the section都都都那这个东西就复杂度太高了太高了啊,太太慢了对吧。
那这个时候怎么做呢,你就用一种special data structure对吧,就是一种highly representation对吧,你就是把这个每一个每一个呃match呢,你用一种out来讲对吧。
你首先用这种bc主要可以去把那个你不需要算的这些全部pares,把它给你把这个去掉对吧,不需要算的全部pa把它给去掉,那剩下的内心呢你在做这个碰撞检测,在做这个碰撞检测,对不对。
它是一个它是一个这样的人,这样的东西对吧,哎这就是一种hybrid形式,这个hy的表示形式啊,其实这种东西呢在graphic里面是很常见的,web,特别在那工业制造的时候。
设计软件里面我有个计算在英雄rap推荐下面,同一首先把它转到那种rap推荐下面,算完了再找回来啊,经常出现这种情况,你比如说做非sical simulation,对不对啊。
你对这个simon你到底是用这种explicit这种还是infraser去做,或who who is simulation是吧,但要研究对吧,我们能不能用y retation对吧,来来研究这个。
你会去读这个文章,好吧啊对吧,呃其实呃你比如说隐隐私局面对吧,你两个隐私局面做ation的话,我举个再举个例子,比如说你做这个moring对吧,应该把两个两个隐私全面,对不对。
这个inclues representation,你可以做一个information对吧,这个时候呢你就不需要build这个两个shift,这样correspondence你可以做对吧。
你如果是mac的话,那你就得build correspondence,然后再去interpl,对吧好吧,但是match the beautiful respond就可以ctrl对吧。
ctrl中间的更于gdp啊,这些东西啊,我觉得这个东西呢呃现在如果大人一上来就接触这个传统的这种啊,就接触这种皮肤真源啊,你不容易感觉到就是我们上一个潜入选的,大家真的做cad的。
做grass这些人吧啊啊这些东西我们都是这这都是common sense,common sense,我觉得希望大家能如果是如果你刚接触这个fid版,容易容易被一些对吧,各种net给被你给迷住了对吧。
不容易去touch到这个fundamental的东西好,那three d呢,当然我们如果做hardstation for anta,当这个这个inside肯定是不一样的啊。
跟这个我刚才讲的这个东西肯定是不一样的啊,但是呢就是说他有个common thing呢,我们就是想干什么呢,我们是想把这个把这个representation,我们把它变成一个孔啊,免费。
然后就是说啊我前面讲了seo和seal station passing vion吧,你这个地方实际上就是说啊你可以有一个公案呢,你能把这个information power给对吧,power g啊。
我会讲一些具体的东西啊,但是common sense,这就是说有了一个network好吧,我今天会讲讲几个work,好吧,我会讲几个东西,一个我我会讲这个就是。
叫做这个testing consequence吧,其实就是说我们你做做这个three prediction的时候。
我们可以把这个prediction of the different representation对吧,然后我把average在对吧,嗯这个呃,然后呢我有一款一切的东西。
它就是这个resoditization那个一个结果,就是说你这个prediction吧,至少他他他有一些coviation的方案是避免不了,但是。
然后我们就把export这个东西其实一个一个interesting aspect,就是说比如说我们做hybrid representation对吧,在一个representation下面。
你这个network和side是不是固定的,对不对,然后你有多个版本可选,很显然你这个network对不对,就变复杂了嘛对吧,肯定变复杂了,那那有很多人对吧,就他那有一些笑话就是这样。
哎你这个neo的这个machine learning配置,为什么发出来的这个火爆,为什么不但不断在提高,原因就是这个是吗,原因就是这个network越来越复杂了对吧,对你复杂的好吗,对不对啊。
其实这个东西要你要怎么来看呢,是这样的,就说你这个还没用完,representation呢,它跟这个over paration它是很相关的对吧,它或者说是一种jao cao castration。
大家很熟了对吧,就是all cash network jav理论计算机的一些结果啊,你hundred representation实际上是一种translation。
就是我不把每一个representation下面的那我变得更complex,对不对,而是我我fix每一个上下面的这个这个complicity,对不对,have you ren那个。
但是呢我是加赣州的representation对吧,虽然top medical company也变复杂了,但是对吧,这也是一种or otra,这个interest in的xy就是什么呢。
就是说你这个他有说打狗比赛对吧,就是说你你在传统的培训下面modern这个ml对不对,他是你你把这个mod变得更复杂,它就all beat对吧,包括b它generalization就差嘛,对不对。
你比如说be的一个b的一个那个一个polynomial to the sea point对吧,这file point对吧,然后如果如果是在这over proposition的情况下。
我个人做一些这方面的理论研究,他虽然就是说如果你用规定design去配的话,怎么说呢,就是它会有一种double比赛,就是你model的cos比越大,你反而降了zation越小,呃那个降ation越小。
原因是什么呢,就是说你这个手wait他的举动保在移动一定的情况下,你这个model compress越大,你这个营销wait和那个final的这个位置这个距离就会越来越小对吧,你走的不远。
你说如果你这个model这个位置小啊,他就偏向于这件好对吧,如果就好比什么你一个口语,你如果有pdomo对吧,have order对吧,或者你的那个口语b上的对吧。
特别是那个比如说x 10次方前面那个口语p成对吧,如果还有很大的话,它就不容易将来well对吧,他就不容易将来well对吧,相相相反,如果你这些口语变相相对来说它比较小的话,它就容易偏了。
xwell对吧,它就容易填了这个,对吧,这个就是这样,model complex越大,你看他走的距离就行,他的口语变成小,相对来它就能将来这个intuitive就是这样子啊。
所以它有个double desk对吧,那那还没完成,你就是这样来的,我们可以在一种很简单的情况下对吧,就比如说呃一种最简单的形式就是ensemble method,对吧对吧。
incel max就是说你欠n个劝p算子为n个network,还缺一个sf为n乘以p的netl哪个好对吧,那么理论上分析呢,就是说只要你这个小姑娘的话,可能会翻出来缺n个。
应该如果再把它in 3合在一起对吧,要比k一个大的要好,要比缺一个大的要好,懂我意思吗,这个东西呢实际上就是一个一个servort,说你不用太大,其实这个跟跟b boot也是有一定关系的。
还是summer,但是three d呢,你你这个hybrid呢,它其实比这个in sumi跟那个什么东西对吧,就是说你到底是比如说你到底是ensemble两个同样的representation。
还是ensemble对吧,你合成和两个不同的representation对吧,spring呢实际上就是软件不同呢,它实际上就是说每一个每一个representation,它都有一个这种。
比如说一个vue比较大的substrate,对不对,如果你这种不同的representation间呢,你可能这个大背它就不la不a lap,它是好处,就是啊你可能一个版本推荐以某个方向。
你这个cp非常大,你可能换一个representation就能把这个sd给kill掉对吧,好吧,这就是为什么还we were fantation,它能what好吧。
呃从从从我给了一些这种简单的inside啊,如果在这里有大家对这个对这个呃呃理论计算机比较感兴趣的,理论深度确定你会去思考一下,好吧,我觉得很interesting啊,然后我会讲几个work吧,好吧。
讲几个work,然后第一个work就是can redumay啊,这个这个task实际上呢呃我们也对这个resurrection做了一个非常呃,做了一个改,做了一个引入门吧。
就是说呃这个pass呢实际上是这样子,就是你给定两个can对不对啊,然后呢我们matt他们现在very good cost对吧,他们自动very good pose啊,我我我讲过一次啊。
但是这里我讲过那个讲happy represent的一个extension啊,这个part当然也很重要的对吧,你就说这种motivsmotion啊,重庆啊,the lugger听见啊。
这些东西很重要很重要很重要很重要对吧,ok那一种解法呢实际上就是说比如说我们回去或spondence对吧,然后我们去找一些constant东西对吧,然后你的低能力意外呢。
那就是大家就用牛奶work for fishare,so match,对不对,然后呢它有一个问题,就是说你怎么怎么把这个return over aning can,然后弄到这个nbing scp。
这个东西是很难的对吧,实际上就是说你如果两个片之间没有feature,那你怎么办去吧,也很难的啊,当然这个差距还是很重要的对吧,比如说你可以说这个你可以做he will construction。
理解才是soler是吧,for ext pl对吧,唉你可以做这些东西对吧,那那我们一种解法呢,实际上就是说怎么办呢,那现在地图门你来了对吧,实际上就是说我们如果有了一个片对吧。
实际上我们不仅仅是知道这个片,还不知道这个片周围的东西对吧,才知道这个图片周围的东西,那我们怎么做呢,我们就可以呃,给定电量,我们可以做condition对吧,做了compression以后呢。
我们可以match到concrete图片,match compete是因为你做了completion以后,这个scheme就over了对吧。
然后你会做reactive post information是吧,但是就是说这就来了是吧,你如果做condition对吧,你到底什么样的reentation是好的,什么样的reputation是好的。
对不对啊,你比如说你比如说我们如果做这种dx prediction的话,它相对来说它就chlvl,也就是在那个平附近,它jios比较好对吧,但是你只要离离开那个盖子很远,而且java就不好对吧。
因为它是一种,但是肯定对不对,那我们想法就是什么呢,我们就讲就说哎你做这个reative positiation对吧,relative postation,你不需要所有的skin of life。
你不需要所有的那个配置对吧,你是需要一些方式的培训,只要需要一些profici,对不对,那我们这个时候就可以什么呢,就可以我们用多个representation去做做,去做condition对吧。
但投资哪种wifi配件好呢,这个东西其实是不知道的对吧,你可能有个实验对啊,你甚至这两个哪哪种wifk线好,跟你这个两个边缘之间的距离也有关系对吧,如果这两个can all over lap。
那么这种单词prediction相对来说它就怎么样,他就讲对吧,它甚至不跟你这个一个individual scans决定你individual game。
你两个一个这个input是两个can件的距离对吧,你如果两个实验的这个距离很远的话,那比如说这种cube map啊,或者这种这种nb对吧,他就会减2s比较好对吧。
他就会比这种呃当时的北京城他要鲁棒性是吧,所以这个东西就很气对吧,就是说我们那怎么做呢,我们就是把这些feature我们也也训练它做做考quation对吧,然后我们写一个优化对不对。
然后解决解一个优化对吧,我们解一个优化去选对吧,就给定两个pad去选什么样的feature是make sense啊,选什么样的features make sense对吧。
就是说实际上就是说你每个can exception了,你对于不同的这个party can对吧,你做做mc的时候,它它它这个b选都不样,最好也选择这个b选对吧,这个东西呢是简约优化对吧啊。
你可以去读这篇文章对吧,然后我们做了一些呃这种呃这种evaluation对吧,就是我们的sc d mod mod scanner上面做了一些emailation,是我们的message,就是这样。
就是说首先你做conversion啊,做conversion这个test嗯,如果大家就提示你over lap,即使你overline啊,他会也会有显著的方式的。
这alignment实际上是写了一个special match啊,嗯你可以去做这个文章啊,我今天因为我要讲的东西很多啊,我回复的少一点啊,然后就是说这个东西呢我可以给大家讲一个麦,比如说你这个干扰男粉。
这是一个经典的问题是吧,你这是经典的问题啊,你即使两个变欧了对吧,你比如咱们做一些考虑ition,然后在这个neo cos里面啊,对这个alignment的这个鲁班前会有显著的帮助啊。
不仅仅是说这两个东西不合我来啊,这个表彰你可以看出来啊,显著的提高话就说话,但是同时你用hundred representation的话呢,你在这种呃在这种这个上面的人进步的提高,好吧。
实际上这个是一个pa,就是说我们去用不同representation去考d对吧啊,然后呢呃然后呢,你刚才说的这个line它既有必须有这个衣服的毛衣的c c u对吧,最后是解决优化对吧,哪些哪个发布。
so ba medical msconfident好吧,我下面再讲一个work,这个htv音乐是for video object detection,video object detection呃。
detection这个tp是非常非常重要非常非常重要的detection,这个cut非常重要,比如说在sd里面你可take offset,比如说一个很重要的vacation。
就是说body or top driving吧,这些这些东西对吧,这就是给定一个体性的出来的是orion is object fbx是吧,order by the market对吧。
哎这个task呢注意。
但在具体ation里面在广泛的研究,对现在我觉得大家还是一个pc的东西做的非常非常多啊,那你比如说啊,比如说这个,那个那个那个呃传统的一个方法对吧,是做object和toto是吧。
那你们最近的工作呢就把它变成regression,我也是这个on the fboxster是吧,还有这个boss这个extreme是吧,还有一个sease 3的倍数,然后然后呢。
当然这个东西在three d大家也经常work对吧,你要是比如说你就说大家怎么说呢,一般是做一个比如说三下offset对吧,但three d呢哎大家做这个东西就是就king fp,呃。
但是有一个问题呢就签署了,你如果是做in的话,咱们设计是把你这出来的,而且当年报应该怎么去表示它应该怎么去表示他那一种东西呢,也就是说一个单词加一个φ,你这个时候呢就会发现。
就是说如果你和ta或者cd出错,你没办法去替补,那我们换一种思想怎么做呢,换一种思想是这样子,就是说我们推进的时候呢,我们不仅仅是这个box ser是吧,但是我推荐一些别的朋友说非比如说这些东西呢。
实际上它是有些mc对吧,你比如说构成了这他是个face center或者这种s center啊,但是很tuity,比如说你有的凹陷,它它就有一些非对吧,它是有the mac mini对吧。
比如说有些东西它就有些edges,比说明像这东西它有semantic mei对吧,这个时候呢你可低于c选三个的啊,如果他一般情况下就是脱离这个东西,它是它是一个will体方案的东西,对不对。
相对来说呢它就比那个who will define东西了,a dition这样一类型要好啊,later later,我会修选persisting,好multiple,这个呢我们就怎么做呢。
我们就给一个input的thing,对不对,那我们没有point对吧,然后呢我们用your magistry,毛是那种object based edge center对吧,这样这样对,都有很多点很多点。
对吧,每日这些center以后呢,那我们就来给定一些fbx,那我们就用这个center,那我们来pret这个fbx degress这些方面不对,然后呢呃就是通过一个对吧。
然后就会得到一些initial的那种对吧,呃initial permit呃,得到一些引进小的方面for哎,这个地方呢我们要注意有几点了,就是说实际上就是说我们不需要对任何一个r的fbx对吧。
我们只需要一这个office center或者被center than center,他肯定是正确的,我们就能得到这个office box,因为这个这个东西这个hard to reconsider啊。
这个地方是overcome fat taccomplete set,我得到这个英雄ult finding pose以后呢,那我们就可以同时我想把这个office reformation变形的变形。
我们也来做这个,我们也来这个average,最后我们可以把这些比起ava在一起后,就be fine,我们得到we find find find find对吧,你方案的嘴巴里放水对吧。
那最后最后就得到了那个放的不,好吧,然后我们对,然后有一些细节了啊,当然我会修一些统计啊,是那个相对来说比较严重,那你比如说我们seed这个other money box。
就这个做出这个这个这个determination的时候呢,我们可以用这个object action可以做一些transi,这个这个这个l就是版权从outline版可以做一些ref。
待会用input section需要你去做dcoration,然后你你这种像这种trim,他要得到更多的这种不同的这种b水吧,这个也能帮助我们去啊做这个做这个呃,这个这个box ref好。
然后呢这个结果当然不错了,我觉得现在这个结果就是你过了1年多啊,过了1年多以后,这个结果还是不错的啊对啊,scout vu上面对吧,那个mp打到6000啊,现在我不知道高多少了。
反正这个结果应该是很不错的,不错的,然后rgb d上面演技还可以吧,可以吧,然后这个increment这种可能好,然后我就想做一些分享下你几个词来做的,一般我也推荐大家去深圳有这种做题方式,特别奇遇。
这个问题是做题罢了,这个时候呢你稍微去做一些分析啊,比如说这个很重要,对第一呢就是,比如说我们有19个primitive是吧,一个box ser 6和这个12个center对吧。
我们对于每一个class对吧,我们可以看这些center的这种前面zation erro,那就和jy不好的对吧,小的就是general好,然后你又发现吗,这个每个东西它的这个形式非常的大小,没什么大小。
它是不同的cut对吧,它不一样的对吧,只要你比如说这个综合是carry,但是它是rp比相对来说有一些类似,网上也不完全一样对吧,但是你看就是如果你到了这个chair和table的时候。
你这个心理学我是什么样的,春节才比较好啊,这个操作different对吧,这也就是说这真的好,harry harry的,也就是说你每个东西都要开始对吧。
所以这就是为什么这个东西啊这这这这个不同的gmp king,但能够挺高啊,特别是那种浮于地址offset上面,提高自己还比较明显的一个重要原因,但这个东西呢我觉得这个id你可以在q d做。
我没有做这个啊啊啊,但是但是我觉得应该也是安排个工,第二个东西呢我们就是想说说什么呢,就是说你这个l对吧,你不但每个promise只要你可以看这个这个l做coverance magic对吧。
tradition error这种covious mazing,然后你就会发现这个covious mazing,对吧,它是接近于哪一个都没学,接近打的都没谁,接近载的mac对吧,这就说明什么。
说明这个不同的prediction of uncovid,但是按口味类型对不上口味类型,这个实验中我们验证第三个东西呢,就是说你这个方它相对来说它要小于这个vi fans呢。
你说everything的时候呢,是很难去把它给消掉了吧,vim可以对吧,如果你的vien反而是小于vian,那你如果做average的状态,才能比你那个,所以所以我觉得这这这就是我们做了一些分析。
这就是这个钱我为什么毫无意,结果为什么后面好,那我们下面我在想这个呃,另外一个另外一个那个tap in synsin synthesis,这个东西当然大家做的也挺多的对吧。
那新c的事当然有很多种做法对吧,我们的实际上就是说我们想做的是什么呢,实际上就是把这个就是这样表示一个arrangement of object对吧,就是说你比较object arrangement。
它就变成一个c对吧,它就变成一个c对吧,怎么了,synthesis呢,首先我们要对你这个做一种in coding,所以等于coding,那比如说我们怎么encoding object呢。
我们就第一它是什么cand,然后还有就是object这个model c wink color pression,同一个人类跟内存的code表,我们还可以object location对吧。
我们可以object fx这个object orientation对吧,我们可以这些东西对吧,那这个时候有了这个东西以后呢,如果把每一个art f把它扣成一个battle以后呢,和一个via以后呢。
那我们就可以用一个matic来引诱的一个,那么就是每一个corner将它encode organ,每一个color code是一个二转,你这个这个东西它这个是如果你朋友是那个color的话。
只要他不改变这个性对吧,呃呃特别是所谓的那个rp派,属于一个一个一个改是吧,它有点像cod,cod再也不完全一样对吧,因为你每个point每个可能它是有一个那个cgm leo的。
当你有了这个math表示形式呢,你可以放一个这个return这个beautiful and work for me对吧,那这个方法呢实际上它就跟这个become formulation。
我觉得reconformulation它是这个做这struction model比较forming啊啊,但是我个人觉得特别是我们最近在研究发现啊,就是说这种peter former这种这种这种研究啊。
啊这种在我们他是非常非常的还是非常非常多的,非常非常多,那比如说我们我们在这方面做了两个一个工作,实在是说一个这个兴趣的,我们做一个alt code,就是用一个福利卡。
那个福利呢福利就是初二for sense对吧,这种connection对吧啊,我们总结出了这个sense connection,它是非常容易over be啊,非常容易be。
我们就重新把一个smart dance for dance,no connection,特别是做这种塑料的关键,将来也挺要好的,然后再变成一个类似的cos对吧,然后内存code再把那个mur过来是吧。
回应可以多开的问题,ok然后呢这个结果呢实际上就是怎么说呢,首先就是我们发现这个结果还不错,应该不错,但是就是说你当你是病较复杂的时候啊,他其实就是说呃model是一个东西呢。
呃model就是相对来说呃,看的我们可能会有一些照片和section,然后我们有一些办法去handle对对,我们最近一个工作呢,我们就是想做什么,就是用这种汉语的表情,就是说。
就是我们区的一个seen as a graph,这个harvard在哪,这体现了两种啊,我这个地方两种harvard的表现啊,他们的这个东西它不仅仅就是说一个3o对吧,其实啊我最近看到一些文章对吧啊。
有一些不同的做法啊,那这个地方呢harder它就不一样了对吧,首先就是说我们有两个network是吧,第一个network是prediction action。
就是阿禄自己刚才那个前面那个最开始就跟工作一样,另外一种我是这个rap,因为这个这个这个对吧,这个reactivation这个model和copulation。
model和cpulation model pulation啊,这是一种hiit的表情是吧,然后呢你有了这个the attributes,这个very attributes呢就会increate。
然后给他就是说你可以做这个题,musician对吧,实际上就是你有一个av对吧,你这个东西进来对吧,你过了过了一个later space就能得到一个object attribu。
然后呢你又alt sb你toritize这个as a tribute,然后你过了一个内存work以后呢,然后你就能得到,你就能,得到一个这个对吧,alin code得到h h。
然后你把q3 就是这个a键加在一起做,这是一只3~5好,这是一种harder的形式对吧,就是有两种不同的position,那你把average在一,这个东西为什么who为什么work呢。
就是因为你是个over prization,它实际上是飞吻,uncle relation,uncle relax,然后如果你做这种singlization的选择,review vi。
另外一种东西呢就是harvard的形式呢,实际上就是我们要引体会的这个data分区非常值得品啊,就说传统的方法,比如说now deep learning之前我们怎么做,就是实际上就是我们model那个。
然后这种bution呢,然后我们可以就是可以和全n的bution,我们可以sumprocess to get那个东西对吧,deep learning完全把这个去掉了对吧。
就这个名单我们out sletion对吧,但是呢这个东西他们之间实际上是互补的,为什么你这么想,我觉得这个id其实还是不错的啊,就是说你那个不是你是很难打车啊,车的对吧,clear你这个有bat那种。
我可以举报的那个,但是那个车的题相对来说他跟他跟这个不是,首先不是所有人类的网都那么搞对吧,再一个就是这种声音不是很准确吧,传统的方法呢啊没有这个deep learning的方法呢。
the lol这个have interaction对吧,没有那么反过市场的provoy的一个地区,比如说你可以看,比如说我了你的东西very very attribute,我不知道这个东西对吧。
我虽然如果我去看这个地图呢,你这个单子我不知道,不知道它好坏是吧,如果你有一个perfecto version的时候就能清楚哦,这个东西它的这个在这个infer出来这个提取。
bution里面on比较好对吧,out比较差,对不对,你如果把这个东西怎么把这个东西给调整out掉,所以说可以可以做那个啊,呃可以做这个new这种东西对吧。
可以做一种可以去determinnetwork prediction,就是好,哪些是坏对吧,那就是nt真的是verty对吧,这是传统的方法对吧,这是传统的方法,有很多人做过这方面的研究对吧。
然后呢你就可以用这个stribution去当what netitime local ma,当with that,如果可以选择with not for me,这个时候呢你直接让我们干了一种。
就是用这个uncate东西,是between the police for fire,所以这篇文字呢就是它是两种这种represent和合在合在一起啊,合在一起,我觉得这是一种思想啊。
就是hybrid这个东西啊,其实它是一种非常广泛的思想啊,但是如果要形成一个理论体系的,形成一个体系的话,还是需要一些理论方面的工作啊,这方面相对来说是比较欠缺啊,我最后会讲一讲,最后会讲一讲啊。
然后你可以可以可以做一些比较对吧,你可以做一些比较,比如说你像这种,这这是仅仅用object c b这个事呢,就是你simple zation,but no onery对吧,就是不用按生去碰对吧。
你问input,但是你不会完全具有js这个问题,然后你如果加上这个身子进去之后呢,你可以对吧,你会得到非常肯定的名字啊,就是说你不仅仅是打车。
你可以发到这个可以选择可以去model这个ribution of how many object对吧,这些东西我们都可以去model,但是缺点就是这不是一个安全的mua的我啊。
但是也不也不是说完全不可能做,也不完全可能做,然后你可以选择一些procession stu,就是当时有些背诵了,他是用了一些ditional constraint对吧。
所以我们这个b的这个程度不是那么高啊,所以特别是那个对很多不是那么高啊,相对来说这个,但是总体来说我觉得还是不错的,总体来说我觉得不错对吧,然后你可以做一些vs那个事情对吧,让这个婆婆是提高。
相对来说就,好我最后再讲一个这个promise deposition,这个我这也是一种hab,实际上就是对这个传统的work了,就说传统的fer是吧,就是说你给定一些啊,有point cos对吧。
它还有很多primitive shape in the corn和s,你要把它找出来,那最近呢有一些工作呢,实际上就是说我们可以用地图等你来做吧,实际上就是说核心思想是什么呢。
思想就是你predict美国一每一个点一个一个回去,对不对,然后你做了什对吧,但是这个feature呢就很重要对吧,就很重要对吧,比如说一种情况下,我们就是这种semantic可选对吧,就是一句两个点。
他就用ctrl能选择两个点对,那我们这个地方呢我们就用一种叫做mage your method是吧,就是说我们怎么做呢,这个这个东西在哪。
就是说我我在improper additional offer的公司呢,我也加了什么,我也加了additional super vision对吧,就是说比如说这个东西它的它的它的解释,它的qu。
他的这个呃呃比如说他他的呃都是your metro funity对吧,它是长什么样子的对吧,如果你弄什么那个feature,就是每个点都一个feature吧,每个pk的一个pc的话,就没有这个信息。
然后这个东西相对来说它的底妆也是比较巧妙的,就是说这个prefeature我们做一些什么之前呢,我们就说我们在每个点啊,我们predict它的这个他的associate。
这个primitive的那个那个cod,然后呢primitive这种pta就是说比如说有人也没有cn的,有空对吧,给了这个position以后呢,我们就可以原两个点。
这群里呢我们可以用这个另外一个点是不是great啊,这个点是predict这种the familia,如果归呢,你就是这两个点相对来说它就应该应该在一起对。
然后呢如果如果就是应该在一个primitive是吧,如果如果如果不一样的就不算对不对,那这时候我们就build一个gram,然后我们可以算是个grapleaning like a vain。
like a recor,然后呢就就可以那个,然后有了这个东西以后呢,我们就可以用他的leading egg max做做class,就可以去做class对吧,对吧就可以入口水。
我们有些分析就是说如果用这种special feature的话,我们提高对吧,就是说当你如果你的这个,如果你的这个这个这个这个primitive的这种prediction。
相对来说他如果他的error比较早的时候啊,你可以用这个special techin去把这些erropout掉,就挂掉,对吧,然后我们还同时combine和bation对吧。
就是说实际上就是说你两个地方的猫猫如果不一样,这个地方就有一个edge是吧,你有了这个edge的话,它实际上是可以做做这个decomposition separation。
我们就沿用flego techni,这个这个结果对吧,edge的话相对来说还是比较高一些的话相对来说比较,呃ok对吧,然后最后呢还有一个东西呢,实际上就是做这种adjustice wake,对不对。
就是说你每个beat的话,你可以搜下不同的weight对吧,就是high hiv相对来说这个weight要比较大对吧,but no entrob的地方相对来说这个位置就比较小对吧。
也就是说这个位置呢对于你不同的tasting,你比如说换一个shift,不同的shape,你这个位置都不一样啊,这个位置是不一样啊,和wait是不一样的啊,你会做这种adopted的这种东西对吧。
结果呢就是写你可以跟这个cdr,就是这个刷完刷完就基本上能显著提高的,就是这种,就跟光驱的更近吧,你不会有一些on the setation,这也是一种就是harvard的思想对吧,heavy的思想。
当然你这个哈佛的思想,目前呢我后面会讲究,目前还停留在一种他的class阶段啊,我们自己也在做这种automatic generation。
那就是说我们要提供一种方法去magic generally representation,而不是因为现在vision对吧,为什么大家还是这种哦,omatic这种就是hardcorreputation。
我们如果应该提供一种automatic这种generation of my regeneration,我们现在正在做这方面的工作,但是你这这个这个普通粉才是很好嘛,就跟你跟那个x2 。
然后呢我觉得就是说那下面有哪些future directi,direction还是蛮多的,所以说第一个就是说,怎么去optimize这个representation对吧,现在都是我们的会defined。
对不对,我们怎么去optimize这个representation是一种情况下,我们可以用procedure generate representation,现在做正在做的工作。
就是说这个representative representation之间它是有很多因素,connection对吧,你可以把一种变化成另外一种运动中对吧,另一个peter direction。
我觉得就是理论上对吧,我们该怎么解释对吧,怎么来分析a representation更好对吧,哎这方面的工作我觉得都是都是比较严重的,好吧我今天就讲到这啊,我就是给大家抛砖抛一个砖吧。
啊我希望大家呃这个representation的东西,特别是那种harvard的东西啊,我回复他了,我觉得有一点很重要,这个理论证明就是说也就是说你把你的lol搞得更宽。
compress在以后版本定下面,你不如让你的recitation是吧,number rep nation更多,对不对,至少从这个理论上啊,这是正确的,而且实际上在余地上面。
representation你还可以互补嘛对吧,所以我个人觉得这种hayy representation thes有很大的潜力,很大的潜力很大的潜力,对吧,我希望大家重视这个东西好吧。
当然这是我个人的观点是吧,那今天我们就到这好吧,然后我们下节课我们就会整个这一节课我们做一个总结,然后我会提一些我个人感觉比较重要的,或者比较ining future direction啊。
这个field啊,包括robot对吧,这个炮台这个medicine啊,就是理论上和实际中啊,给个人商主要需要说这些东西,好吧好,今天我们就到此了好吧,下节课如果大家觉得自己没有什么好的框架idea的话。
我建议下一首大家来听我的那个好。
GAMES203: 三维重建和理解 - P14:Lecture 14 Course Warp&Up - GAMES-Webinar - BV1pw411d7aS
大家好,那个这样吧,咱们这节课呢我们就把它搞成一个这个喂,咱们把它搞成一个这个期望的a吧对吧,就是最后一节课呢,你们想提什么啊,你们提什么问题,这个我都可以回答好吧,然后啊我首先回顾一下吧。
其实我们这节课呢这门课呢呃其实讲了两个东西对吧,一个就是party for cher quity对吧,其实分为三大块对吧,一大块是这个重建对吧,重建我们讲了蛮多东西的对吧。
呃重建呢我们不仅讲讲讲了这个店对吧,这个dn的基础我们讲了这个从注册对吧,重建对吧,我们讲了这个processing,就是然后后面我们讲了这个reentation对吧。
来做understanding这些东西对吧,就请关注reputation呃,我们讲这个呃,然后讲了这个and understanding对吧,然后三维视觉呢呃我们也常常在这里面讲了。
我们重点强调的其实就是重建,当然这两个就是从geoge processing和从这个嗯,呃geomeprocessing和从这个three division的角度当然是不一样的嘛。
它只有两个不同的framework,对不对,嗯,然后啊但是呢呃从representation的角度,同样的sin角度来说,这两个剧组慢慢的就融合在一起了对吧,这样吧。
这节课呢我们就基本上花有三个部分是吧,一个是重建一个entation and standing啊,and sa主要是这个deep learning对吧,我们我想就是跟大家有一些互动啊,跟大家有一些互动。
就是啊如果大家想就是说对这个重建有什么问题的话对吧,就是three dio加,或者觉得你们觉觉得哪些研究方向对吧,或者叫我叫我啊讨论一下哪些方向比较感兴趣,好那我们现在第一个问题来了啊。
就是这个三维重建的这个量化标准是什么,对吧,哎这个问题非常非常非常interesting啊,其实重建这个东西啊,啊,他具体看什么application对吧,就是比如说你在你医学重建对吧。
医学重建呢实际上呃有一些呢就比如说你看啊,就比如说你做医学成绩,你重建一个牙齿对吧,你要做这种suging planning对吧,这个时候呢你就会非常physically accurate对吧。
比如说你在上面跳一套牙膏的,你比如说我们做骨折过,就来做做这个这个这个医医学的这个vacation,这个时候呢accuracy对吧,就是你重建的这个accuracy就非常重要对吧。
因为你如果重建的都不准,那你就不能谈下面的application对吧,所以所以这是这个这个这个精度对吧,对于这一类的重点,你比如说你桥梁对吧,你去检查这个桥梁他们有没有这个damage。
这个时候重建的这个actress就非常重要了对吧,不仅有xy,你还要知道这个暗色的对吧,就是你重建了这个东西对吧啊,因为你不知道黄to是吗,你不仅仅你只out put的一个重建。
你要说是你这个东西大概有多多不准对吧,这些东西就比较重要,另一类重建呢是做这种呃,比如说在无人驾驶里面对吧,你做一个三维的地图啊,你也尽量要求这个重建它尽量的精确对吧。
哎另外一种重建呢是virtual reality,对不对,就比如说你你重建了一个three model嗯,然后你想得到normal view是吧。
这个时候呢你的服务的目标其实是这种entertainment,那个娱乐啊,what your argument via,这个时候重建要求就不高了对吧。
主要就是看你这个这个东西能不能帮你去csnow vs对吧,所以所以我不知道我这样回答可以吗,就是基本上在看你的这个目标是什么对吧,好吧,还有别的问题吗,这个问题很好啊,我看看啊,我这个直播。
我今天是拿着这个手机,我不知道怎么看这个,你们提的问题,我刚才抽到了一个问题,啊这个问题应该怎么办啊,啊,有别的问题吗,还有,哎我谢谢好,你们还有别的问题吗,这里应该不止就一个人,什么问题都会提好吧。
我都尽量去回答好吧,尽我能力这样的话能够给你一些反馈好吧,其实我个人感觉啊说到这个重建,我个人感觉就是就是就是有一个domin的这种干,就好多时候一个fd里面。
我们得到的结果往往并不被另外一个field所知道,比如说我最早的时候做了很多注册的这些工作,然后我跑去开一个robotic confi,发现我们那些结果那些robot他本人都看不到,看不到对吧。
他们自己还在那自娱自乐对吧,所以我觉得就是说嗯哦我开这门课,第一个就是让希望让更多的人了解这种意义,以前一些前任的工作嘛对吧,这这是很重要的对吧,这就是这个field怎么往前发展,哎这也是很重要的。
这个field怎么往前发展,大家还有什么问题吗,重建,这里应该不止就一个人了,什么问题都可以问好吧,什么问题都会问好吧,你们只要只要我能回答,尽量帮你们来解决这些问题好吧。
你像我们课上讲的这个这个重建的这个问题对吧,就有两个派对吧,其实以前现在比较传,以前比较传统的,所以现在工业界工业制造影用的都,但这种激光扫描的就比较精确对吧,像现在慢慢的这个region大家做的多啊。
其实就是从从这种passive的重建对吧,加deep learning对吧,这种从几张image squats view对吧,你能build correspond出来重建,现在这种研究上还是比较多的。
行就是刚才这个学生呃,我先说这个三维重建,像deep learning with the n对吧,就是这种new real traction,这是一个很好的研究方向对吧。
其实嗯其实现在一个fundamental问题并没有解决的,就是比如说,你到底是counter所有的东西,还是有一部分东西,你通过这个通过这个pa就能折就能就能就能解决对吧,其实唉这个问题呢其实很广啊。
解解决的办法,解决的办法也有也有很多,对不对啊,一般情况下分为几种吧对吧,第一种就是你重建了一个东西,补不动对吧,把没有的东西补出来,哎这个东西呢呃有很多人研究对吧,有很多人研究。
但我个人感觉就是呃也没有什么那种特别特别好的吧,无非就是你这个日本为什么就copy对吧,你说哪去对吧,这个这个东西这是这是一块,另外一块呢就是直接呃我个人感觉吧就是比如说。
对你比比如说这种new的new的这种这种这种呃重建,就是还没有一个办法,没有一个方法真正就有一个georetical framework对吧,其实说白了你比如说现在一般两种办法。
一种一种就是你每个view去重建,对不对,特别sparse the view,没有那个没有那个overlap,这个时候你传统的division就没了没有了对吧。
你就可以用那个你可以可以用那个呃从single view做做出重建,然后把它field在一起,那这个时候主要用的就是一些single view对吧。
其实就是说你怎么给个mac mac image dots的depth,这这这是一个方法对吧,呃比较interesting,就是你怎么在这两者之间找一个balance,对不对,找一个balance啊。
就是有两块对吧,第一块就是说你怎么更好的去得到这个image to image这种corresponders对吧,其实有很多人研究的就是啊传统呢我们就是找这种对吧,就是摄取对吧。
现在有人研究就是用deep learning对吧,这个cowarning对吧,去找更好的correspondence对吧,诶这个能得到更好的重建对吧。
啊其实就是在原有的这个three three d呈现的这个基础上加了这个东西对吧,另外一种呢就是你你从那这个这个就是image q to depth这种prior,对不对啊,这种这种prior啊。
其实其实我我们发现什么就single view,它它其实就是说这个dex这个方案,single view这个depp这个这个东西啊,呃他的这个up lute这个东西啊,往往忽计的不好。
但是有时候你如果把这个up ute deaf给bout掉,那个single view,现在其实这个depth sation还是比较准的啊,比较准的,然后重建呢还有一点我没讲啊,就说你怎么重建这个卡的。
对吧,怎么重建这个color material,对吧,不仅仅是geometry对吧,怎么甚至怎么去predict the physical property,这一块东西呢我觉得将来是应该有很多。
特别是做rendering photorealistic这种东西,我觉得这款现在随着这个neuron a nerf这种起来吧,这一块的话啊,研究的会越来越多啊,但是我个人感觉你在image里面对吧。
你有shadow,你有那个high,你有那个highlight,你这个lighting lighting effects,你怎么把这些东西都移除,然后变成变成一个photo relic这种重建。
哎我觉得这个现在还没有解决的很好对吧,但是这个东西呢你不解决好,其实你也得不到好的结局,对不对,你比如说这些东西。
对他也fect你的correspondence不也fe你的这个这个deft imation对吧,这个prediction对吧,嗯所以我觉得就是说如果真的要打通这个充电的话。
还是要把呃以前rendering对吧,就是这种nt的这种模型跟猫都好,给mod好对吧,真正要做的这种非常high quality重建的话好吧,呃这一块的话啊,对这一块呢它是一个系统工程,等一步一步来啊。
得一步一步来,哎刚才这个问题我们就稍微延伸了一下好吧,稍微延伸了一下,就是呃我觉得首先deep learning嘛啊它提供了一个桥梁,把region和graphics联系在一起,对吧。
嗯以前是这次这个不太可能的,那么现在我觉得至少有一个这样做也可以,有一个桥梁把两者联系在一起对吧,好吧,这个问题问的很好啊,还有什么别的问题吗,什么都可以问对吧嗯。
就我个人感觉这个games平台啊将来会往往外涨对吧,我们会有更多传统vision的理解的东西进来对吧,会有传统很多更多更多的english problem,我们需要去解决对吧。
因为graphics走向data driven,这是一个趋势对吧,呃graphics走向data driven,这是一个趋势,无论是呃重建and standing还是还是这个什么design对吧。
但是你data塔从哪来呢对吧,data从哪来,我觉得对吧,很大一个是从上,我还是需要重建对吧,你重建的话,以前是你重建,甚至有时候你是重建出一个model,对不对。
你现在的话你直接可以把new和up或者搭在那个and standing后面用,那我直接做and to end对吧,你可以直接从image来做graphics,对吧啊,这人工作当然已经有很多了对吧。
那我觉得就是说这这这都是可以的对吧,是吧,好还有什么问题,重建对吧,你们谁什么问题都可以问好吧,这样的人人慢慢多起来了对吧,我觉得应该也不少能看对吧,什么问题都可以问对吧,还有什么问题对吧。
我们这个十点半我们转到这个reputation,对吧好吧,我们现在还有13分钟可以聊这个reconstruction,什么问题都可以问对吧,你可以问一些,别的对吧,不一定是比四ch对不对。
什么问题都可以问好吧,这个机会难得好吧,对我们也可以想想重建对吧,这个我们这个三维重建还有哪些同学们可以去,新的同学们可以去解决对吧,比如说我这门课没讲的,就dynamic,dynamic。
dynamic reconstruction,the four dimensional reconstruction,我没有讲对吧,对吧,这个dynamic重建也是很重要的对吧。
dynamic这种东西的重建对吧,非常非常重要的对吧,等年密子重现无非也是解决一个考方式的问题对吧,解决一个correspondence的问题对吧,怎么去mo再去再就是怎么去model。
怎么去怎么去model这个呃这个这个这个motion对吧,对吧对这些东西都是很重要的,对吧啊,但重建的话其实嗯它有几种重建,像dnm重建的话,一个就是你可以用elise reftation去做重建。
然后再想办法去解决correspondence的问题对吧,然后开始,然后这里面其实打namix的重建,我觉得现在大家研究的比较多的还是在几何的层面对吧,你怎么去利用physics对吧。
你用physics to understand with这个motion对吧,这这方面的工作还不多啊,不多,好吧,还有什么问题吗,对啊,不要不要,大家不要那个,几何处理方面呃,那个问题没看到啊。
几何处理方面能能再给记录下那个问题吗,第二个,等一下我把那个问题找出来了,诶我怎么看不到了,这个,对刚才这个问题我没看到,你们能不能再复述一下,就是这两个问题好像,他就一划而过了对吧,我现在是用的。
我给几何处理方式为什么好,现在目前好像很少有能力的方法来做啊,唉这个问题呢这个问题我觉得就比较interesting了啊,就是有两个原因啊,就是说,就是几何处理这个重建这一块,传统的方法呢其实已经不错。
它有软件出来了对吧,你有软件出来了对吧,嗯你要软件主义说叫我10年前20年前的这个叫magic对吧,小magic对吧,对吧,选magic,如果已经有软件出出来了,出来了以后,你要再改变这个feel的呀。
就不那么容易对吧,你得你得真正是革命性的对吧,比如说以前也有这个以前也有这个three revision是吧,seed等等等等等,and standing对吧,那个你非得要地址,等你出来以后。
就真正整个行业一直哇新的技术,新的技术革命来了,我前面的都不能要了对吧,哎这个时候呢你这个learning的办法才能真正找到最新的这种ground,我举个例,我举个别的例子。
比如说be flying对吧,b c one它有很多缺点,但是你知道所有的工业软件它都是b c one,肯定是一个standard对吧,因为这个原因。
你后面a段b段各种各样的方案以后不就会出现什么东西啊,各种spin以后,他就不会被这些软件上去用了对吧,因为别称是define对吧,很好的工作,因为你你一个软件,你一个真正被大家广泛用了以后。
你要改变这个软件的核心的东西,那你那你这个成本也太高了对吧,对他们,所以就是当一个东西方法出来了以后,对对方法出来的厚厚的这种东西以后,你做你这个东西做研究,你是需要有这个驱动力的嘛对吧。
我个人感觉就是这个learning这个东西在讲讲processing啊,你得非得有一个质的飞跃,就是以前的方法你根本就做不到的,次的飞跃对吧,质的飞跃的时候,我觉得这才能产生硬盘。
还会有更多的人去follow他,那我个人感觉呢,你觉得哪些方面能有些智慧,我觉得大规模场景的重建对吧,你重建一个楼,一个city对吧,我们能不能用很少的这种mament加上一些images对吧。
做成真正一个scala,我的roa east对吧,它不是一点一点对吧,一个东西它是整个一个有了这个东西以后对吧,你还要找到一些好的办法,你比如说每个人做重建对吧,我我在一个房间里面。
我就拍几张image,我就能重建一个three dimension的东西对吧,真正把这些东西做到非常鲁莽的时候,哎这个几何处理对吧,你比如说那个不动对吧,你说个重建对吧。
你你你把一个一个变成一个开的model对吧,真正真正的这个做非常鲁班的时候对吧,就是比以前的方法要好太多的时候,这个时候我觉得慢慢人发的人就会越来越多的对吧,发的人就会越来越多的。
and understanding就会发现cvp啊,这个西瓜做的很多很多,为什么,因为以前这个但他的确做的不怎么样嘛对吧,你现在的方法做一个出来都比以前的方法有值得提高对吧。
而且and understanding现在他有一个很好的ground嘛,就比如说logo的learning是吧,你robert你这个这个机器人,你查了这个周围场景,你需要写stand。
然后and stand清楚以后,然后学更多的fs对吧,imitation learning对吧,这些东西对吧,它它就是有一个好的桥梁,对不对,你像传统的几何处理这个,ok那我先把这个问题讲完啊。
这这个我觉得很好对吧,嗯啊就是这个这个,所以所以说我就觉得嘛就是说如果你你只要处理上面,你已经有一个传统的判断了,你要真真正去改变这个python,你需要质的飞跃,就是大家觉得就是真正大家愿意投这个钱。
把这个python给重新改掉对吧,否则的话我觉得呃很难,但是呢把能力嵌入到这个geomg processing里面,这是个大的趋势啊,现在有很多人在做,慢慢的我觉得就会会改变它对吧。
特别是后面的这个editing部分,怎么把它变成个smart对啊,怎么把它变得更smart,我觉得这都是可以的好,然后我再讲讲讲这个三维的这个和弦之间的问题啊。
三位的这个可解释性的问题。
三位的这个可解释性的问题,我觉得挺有意思的啊,因为你本来三维他就是要比这个就是要比这个呃。
就是比要比这个东西更更更鲁棒嘛对吧,范围就是要比这个呃上面就是要比这个东西更鲁棒嘛对吧,呃比to d对吧,它它有更更好的解magic的这种这种这种这种representation在这对吧。
有更好的这种前面的representation在这对吧,嗯可解释性的问题啊,我觉得这三维你至少就是说他是一个真正意义上的。
catch the vial的这种这种capture of of这个这个这个这个呃呃呃,three dienvironment对吧,真正的这个意义上,cat sweeeenvironment。
这个可解释的问题,我个人感觉他应该有一个更comment ground physical property对吧,your distance嗯,对吧,我同意另外一个观点。
就是说可解这些网络实际上真正意义上能将来更好的网络啊,这个我同意啊,我个人觉得是哦,我觉得是同意的啊,我个人觉得是同意的啊,最最后最妖的一定是可解释性的,可解释性的往往这个我同意对吧。
那三维上的可解释性,应该做哪些研究呢,第一就是我们怎么去定义可解释性对吧,我们到底要解释什么东西嗯,我觉得三维比two d呢,至少它的这个attributes是要更多的,比如说geometry对吧。
这个distance,比如说这个feasibility,feasibility,比如说这个motion对吧,在三维空间中,它它就是可定义就能被解释的东西或者解释的手段。
它要比这个two dimensions对吧,他要多得多得多得多,对不对,所以从这个角度来讲对吧,从这个角度来讲,我觉得,对这方面的研究是是很应该会很interesting啊,应该会很好吧。
哎我不知道这样回答可不可以好吧嗯,他就是可解释性的,我还讲一点嘛,就是比如说你也有牵涉这个marketask对吧,就比如说我们做这个post prediction对吧。
我们做post prediction,传统的方法就是安全and对吧,pose network,对不对,pose network传统的是entrance对吧对吧。
那现在好多方法都是predict key point,你知道的有关,这就是正向的解释性嘛对吧,所以我我我有机会讲这个one learning对吧。
就是把那个把a graph of new networks对吧,哎这有增强的解释性对吧,其实就是你怎么可变的对吧,你像intermediate representation。
比如说呢就是一个intermittal representation for post regression对吧,你不仅仅是你不仅仅就是让它更可解释,你可解释,还有一个什么东西啊。
别别说一个东西我都不知道它是什么,那我怎么去ctrl t了,没法去ctrl t对吧,如果一个东西可解释了,他不是说我们understand这个中不仅仅说我们understand学了什么东西。
其实意味着什么,意味着你能inquery更多的信息对吧,比如说这个东西哦,那我就可以找些keep bel对吧,比如说predict是长度对吧,那我跟你说,你这个这个不管是什么呃,那个音符的技能。
你这个长度都要大一米对吧,哎你这种就能提高,你懂我意思吧,就能引入更多的信息对吧,去学更好的东西好吧,就是可解释性文件夹一点是我们m3 对吧,这个东西到底学了什么东西对吧。
另外一点就是它open一个space enforce,更多的loss,对不对,去学这个东西好吧,哎我这样讲可以吧好吧,可解释性好吗,从这两个角度去想好吧,还有什么问题吗,对大家欢迎大家提问啊。
欢迎大家提问,好那我们下面就到这个representation这一块,好吧,诶呃就是这个representation 3位representation,当然这个话题很多了对吧。
我个人最喜欢happy representation对吧,问人质疑的,但是我欢迎大家提这个问题,好吧嗯,这个harry当然可以接触接触这个确定嘛对吧,这个harry实际上。
就是我觉得一个fundamental problem,实际上就是说呃我们现在的理论上能知道什么呢,我稍微给你们讲讲对吧,第一就是说啊,太贵了吧。
它实际上是incement learning的一种推广对吧,你可以你可以这么去说,但是你这个引sam到底隐藏了什么对吧,实际上他就牵扯到这个,你到底怎么去wifi对吧,这个object对吧。
而且呢你怎么去rap,什么是representation,representation,就是一种它就它跟这个可解释性啊很相关对吧,就是说你一个如果你有一个版本,那个你就必须一成不成功对吧。
不然你怎么叫它和解释呢对吧,你给我for recover,当然是你全部都放一个representation对吧,所以child呢我觉得next next is now。
就是说它有多少颗减性的rapper,那肯定是d要更多嘛对吧,好怕呀,各种reftation,这个three weety要更多嘛,在一个physical space里面对吧,所以所以从这个角度来讲。
就是从这个角度,从这个角度来讲,就嗯,从这个角度来讲就嗯对吧,就是这个sb为什么hybrid我们的sweet的就是user呢,可能更丰富嘛对吧,当然可以improfit cod对吧。
incorporate这个to d的图像对吧,multiview就是一种权利的东西,好吧,我不知道这么想可不会啊,还有什么问题吗,就是这个representations不会就一个人问问题吧。
我我希望不是这样啊,这个,不是我的ipad啊,政府要么政府要么就换个ctrl啊,嗯嗯就是要分分分分分清楚两种对吧,representation它是没有能力对吧,它只是一种什么表示的data,对吧啊。
top of representations,还有一还有一种就是你怎么去学对吧,其实比较殷勤,就比如说你像我们做这个做做这个standing对吧。
你到底是你把这个美国repetition that will change好,然后testing time的时候再去做seo呢,还是你喜欢你去train对吧,这些东西我觉得都要分析清楚对吧。
对这些东西都要分析清楚对吧,对吧嗯我个人觉得就是说representation这个东西,它跟这个learning的手法是分不开的啊,就是就是说或者就是说你给了你一组标准配置以后。
什么是最好的training方法对吧,你如果有有多种representation的时候,他当然不能权衡的信嘛对吧,你会做各种rap,但也只有他c4 d对吧对吧,它它实际上带来的各种可能性是吧。
就是我觉得reputation它是跟你的学习手法和不开的对吧,这不仅仅是怎么表达对吧,但是更重要的一点呢,我想提一点,就是这个rap配角比的话,主要看一下将来不应该是人为来指指定对吧。
你比如说我们最近在研究这个procedual rules,generate representation对吧,就是利用这种自动的话,自动的话我去generate vfication对吧。
哎这是我们的我们在研究的啊,我们在研究的对,好吧,我这么回答可以吗,我确定一下不是一个人,只有一个人问问题啊,那我觉得这样不太好对吧,又来一个fmc,除了special fav哇,这是一个很好的问题啊。
faa mei除了special方法,还有还有没有别的好的方法,首先我要讲讲为什么special这个东西好啊,那实际上是呃从从给有一种复利液的那种复利的这种东西。
对他他是从a poliation theory来的对吧,从ap proximation theory来的,你可以可以这么想嘛,就是,fast map。
它实际上它只是一种一种表示representation,对不对,你至于怎么去找一个basic是吧,这个basic不一定是special对吧,当然用special比较多。
主要是他有好的这种moi moi skill吧,但不一定是对,不一定是special的东西提供的这个东西啊啊好吧,为什么用special,主要是它的这个它的bass是一个新的联系对吧,有利润连续连续性。
它是一个很好的踏实的办法,所以他在用这个东西,好吧,对吧,fashimap最近有一篇对吧,就是我一个同事啊,d d ptfanction的mad,这应该是最不要的,但是可以去读一读对吧,然后看上面。
对吧,其实,对吧,你可dress address pus,我觉得python man上面就是没有没有完全解决的,就是怎么去学这个base,就是不仅仅是你不仅仅是这个special的方法对吧。
你可以用deep牛奶给自动选一个basis对吧,我觉得,这是有可能的对吧,其实你是这么想对吧,如果大家感兴趣对吧,你比如说这个bleading espace什么什么。
就是java power method是吧,你如果是一个java是pom是能算的东西,你就可以用一个graph new network来算对吧,这样你就可以学一个basis是吧。
你可以用graph new network学一个basis,然后top of that对吧,然后你再去学mamapping啊,我最近在ut里面讲那个计算机视觉是吧,其实这个问题很阴沉啊。
你比如说比如说传统方法在image上上面detect对吧,传统方法detaimage point,那你其实比如说你啊。
你这个what psa point return这个比如说这个呃csfeatures对吧,其实see the features,你做detection的时候对吧。
你是不知道别的english长什么样的对吧,但six feature和没电的功能,就是你其实不知道别的feature这个english长什么样子对吧。
你也知道detect point very likely,在别的地方都会做对吧,所以所以shift是这样子对吧,你这个算30mm,比如说用special的方法,其实那类似的问题对吧。
就是说你不知道别的shift长什么样对吧,别的那个lei个ma长什么样,但是呢对吧,我们现在用special对不对,我们可以铺一些boy sper,就是说你在别的地方。
如果这是iphy deformation对吧,这个special people good choice对吧,但现在我们在想对吧,就是说你能不能把这个音乐b detection tsd又回来对吧。
你怎么去学在一个shift上面对吧,你怎么去学这个imbalance space对吧,这个leading face和别的shift对吧,你去meshes的话。
你的这个excessive outcomes maximize,我个人一种感觉啊,就是你至少可以证明这个special technique,它应该是一个比较接近于这个最优的这个东西。
就假设你用一个呃这个这个graph new net去算这个东西的话,他应该是一个最优的,我个人感觉我个人感觉是这样的,就是你不可能也铺太多啊,bridge你们发现了,我不能感觉你可能甚至可以证出来啊。
但是这个你如果对对理论感兴趣的话啊,就是你我再强调一遍,就是说你给一个shape new graph,new network去算一个npd,i can replace对吧。
然后你然后你把这个理解这个graph news,是去提取这个leading acex space的东西,跟那个deep meframework结合在一起,在一个data在没人去学。
我个人感觉你不会比special做的好很多啊,我自己我说的是我自己也会考虑这个问题,我如果很有兴趣有兴趣啊,所以给我发一个音mail,我们可以一起研究啊,这是我感兴趣的一个问题。
我一我我2年前我就想做这个东西啊,等一直没有机会好吧,啊好下一个问题啊,这个问题很interesting啊,我觉得这个东西它有很多很match connection,对吧嗯。
它跟传统vision里面很fomc的问题是相关的,好吧,这个问题我觉得很有意思好吧,然后还有什么新问题吗,我们可以一起探讨对吧,这个很有很有这个问题很阴沉的时间,下一个问题,什么问题都可以问。
我们怎么怎么怎么入门啊,打开回啊,当然你问我这个我我会有一些大家不愿意听的东西是吧,我觉得现在大家发财,我发的太多了对吧,发高质量的陪我很少对吧,个人在我组里,我都是建议他们把paper降下来吧。
发的这个速度对吧,把配合搞得长一点对吧,搞得地图一点对吧,还有什么问题啊,representation对吧,对吧,他至少跟lia跟这把pp 10外面一样的,很好啊,其实就是rett。
我觉得可以研究的一个是就是怎么跟物体交互对吧,怎么能做更好的这种interaction,来说这种repetition对吧,我觉得这种行业全是这样,还有什么呢,可以可以可以,我们可以可以聊的对吧。
一个是我觉得这个reputation,比如说,even affordability of fd,这我没写对吧,就是说你你比如说任何一个oor就是mamao,对不对,任何一个东西对吧。
它的form其实它都不是单一的物理,他都是你想,比如说动物对吧,比如说植物对吧,人物为什么会长一个样子,会会长一个样子,为什么会开花,结果它都是跟这个资源自然界的这个环境有关系对吧。
比如说有一条信号跑的水土,空气中的养分,这个阳光除了他就决定了,比如说一个植物,它是它的样子对吧,那你有的出场比较高,对不对,人也是这样的,那你换一个环境,你可能更productive对吧。
你可能生活的更舒适对吧,你从这个角度来讲,你做出representation对吧,我们现在只是elephant single object对吧,我觉得大家是在做这个东西。
有没有想过就是怎么把这个这个reaction做成太空自然界相互对吧,不仅仅是logo小伙,这怎么去这个世界的这个交互的这个问题,你怎么比如说我举个例子,比如说在metal,因为这里面我看一个东西。
你怎么就猫了,比如说看骨头是怎么伸长的,比方你合着手对吧,哎你这个断句面对吧,他是怎么复也不合成,这个植物是怎么生长的对吧,我觉得这方面的东西对吧,以前是costimulation对吧。
以前是costimulation对吧,我等会讲如何看到那看到这个via的关系,我等我一下对吧,我讲这个就是我希望大家去多多看一看,就是把这个脑洞打开嘛,就多看看这个deep呢。
你怎么解决一些以前根本解决不了的问题,那么你研究整个这个叫lifelong learning什么,你研究这个东西是怎么生长的对吧,这个人是怎么变化的,哎他跟这个自然界的环境是怎么交互的啊。
研究这些问题对吧,我们很多的这个农作物,对不对,我觉得我我觉得可以用graph main方法去研究对吧,从这个角度去想想,这这就能真正解决一些重大的问题对吧,从人类重大的问题对吧好吧。
我希望大家希望将来看能看到你们这个有有往这方面的研究好吧,有往这方面研究好,那我现在来讲这个vision和gris的这个我connection对吧,a visor graphics。
首先我觉得将来这两这两个东西核心问题还还是有一些同样的graphic,那核心问题是做fsc对吧,image generation对吧,a型前四到毛等人选的话。
它核心问题现在核心问题主要是做i’m standing对吧,就是理解对吧,对吧,那么graphics呢,比如说我觉得这两者他现在就是你干嘛,就说。
就是我觉得这两者的交interaction会越来越多对吧,比如说你尖锐的东西你都不理解那个东西,你怎么去generate的新的东西对吧对吧啊,做semination也是对不对。
做semination也是你不去理解对吧,你怎么得到data对吧,怎么得到data对吧,你需要自从manager里面去做个spanning对吧。
就是我觉得接下来肯定就是graph这个python vier那个python结合在一起对吧,会结合在一起就解决一些问重重要的问题,更重要的问题啊,还有就是呃他是basic对吧,就是我觉得也是很相关的。
比如说grap也需要比较比较好的是mamagic foundation,你你把vision做好,你也需要比较重要,比较那个比较foundation的。
my good mamagic foundation,这两者都需要,这两者都需要,这都是这都是很重要的好吧,这都是很重要的啊,所以我现在记住我红夫肯定是gramc,反正我同学也是对准对吧。
为什么发的文章也不早了对吧,但是我主要是three d这一块,主要是three d这一块,好吧,我觉得这个graphic vision他将来肯定有更多的人对吧。
他对这个intersection这个ava是吧,我发在这个还有更多的人对吧,更多人来来来接触这些东西,好吧,然后你们还还还还有,小组配合写写作效率啊,我觉得写作这个东西其实我跟你讲啊。
就是我在美国读书之前,我的我的rp是一塌糊涂的,做writing,就是这个中文就是这样的,第一呢你不断的写,你不断的洗啊,不断的洗,他不是一遍就好的,我跟你讲不是一遍就好了。
哪怕我现在比如我写个proposal,写个proposal对吧,你你你你比如说你一个好的配合,它是怎么出来的,它不是一遍写成的,它是改出来的啊,这个我可以语句的写,你就不断地写,不断的写对吧。
但是呢你也不要一天都当着写,你过一天你你换一个,你对吧,你把配置写好,你换的那你过两天再去看一看哎要发新的问题对吧,你会发现新的问题,然后你再去改的话呢,你就会提高自己,就会提高自己,对不对。
paper writing,我个人感觉就是你们用中文能写清楚吗,很多时候其实它不是一个一个language的问题,你懂我意思吧,我看过很多中文写的好稿子,那也是他他是一个逻辑性对吧,逻辑你懂我意思吧。
paper实际上说白了infer paper它不是词藻用的很漂亮,它的整个配合它很有严谨,很有逻辑性,懂我意思吧,你要一个paper要commiss。
你要你要你要需要一个good big picture对吧,你要真的要高瞻远瞩啊,同时你要一句log,对不对,你要吸引人的,吸引人病人,管理我觉得没有没有什么好好那个那个就是第一。
就是你需要这个脑子学生在线的学生对吧,你需要脑子学生在新的学生,对吧,我觉得就是说要建立一个好的运作方式对吧,就是你要有一个核心的思想对吧,希望这个比第一次写长的怎么样。
第二我觉得很重要一点就是大家要多阅读对吧,多读好的东西,脑的东西啊,其实好的,你能一穿了,对不对,你像我现在就是说我个人单,我也不是吹嘘嘛对吧,我有自己对整个build的一个办法对吧。
这个看法我觉得过2年过3年也不会过时,对不对,但我还是会读一些新的赔本,对不对,读一些新的paper,但是你要对这个field大的了解对吧,我觉得我就比如说我想这个recall,其他什么mc。
我觉得这个东西它不会变的嘛,过2年过3年,过5年还是只是每个上面都会有一些镜子啊,对不对,比较错误的观点就是你只读最近的文章啊,读那个六个月的文章对吧,这是不行的,懂我意思吧,这是不行的啊。
你要读一些class的文章对吧,这就是我这门课为什么跟你讲classical的东西,我讲了以后,我就发现我有很多idea的可以越class的东西对吧,往往你做出自己。
他就他这个delta就是跟你这个save的东西,他就更能更能revolutionary对吧对吧,而不是移动危险对吧对,这个很重要啊,这个很重要,我觉得现在有点不好,就是你那个东西对吧。
当然所有东西你改改我改改对吧,发个配置对吧,你要有一定要狼吞的够啊,要一个长期的这种go在这,我觉得这这这才是真正驱动这个field往前走啊,驱动这个fid往前走啊,对你你改一改,我改一改。
就容易出现这种抄袭,对吧啊现象对吧,对我也而且就是你如果一个学生刚开始的时候,你不要急于让他去发配粉是吧,我觉得这种这这这是呃,这是很,你要把基础打好对吧,学的该学的课要学好,好吧,还有什么东西。
四分钟我们就到那个3d那一块好吧,还有什么问题,好吧,什么问题都可以提对吧,那我们就到这个and understanding and sending这一块就理解对吧,这是三维理解对吧,我首先开个头。
我就是讲这个三维理解,这是嗯其实就是三位理解,我觉得就是说大家大家现在研究的很多的是这个怎么用,怎么去解决一些传统的问题对吧,其实same tation confication对吧。
我们其实说白了我觉得这一点没做好,就是我们做什么three division,我们就也做什么,对他们做and standing,他们做这个我们也做,但是我觉得咱们能不能抵抗一些。
在三维就是抵抗一些特技做不了的东西,当然有没有想过去研究这个对吧,比如说这个physical properties,the material propertic这个property对吧。
你比如说你这个这个物体,它是它的各个part的时间,他是怎么联系连接在一起的对吧,怎么去用那个join,比如三维我们能不能我我就想知道就是我们能不能确定是一个vision,没有的task。
这就是根本做不了的test,就是拿我们的三位来做对吧,因为三维啊,你其实就是是对整个这个csgo性,你有一个very,就是有一个ap的in coding对吧,你能思考一些受不了的东西对吧。
但我现在感觉就是这方面的他可没有对吧,或者很少,或者就是他popular,对不对,不那么popular对吧,对吧,所以这是我想我想希望大家去思考好吧,大家去思考好吧,affordance可以算一个啊。
就是人比如说你这个pymatic怎么跟跟这个物体去交互,但是to d呢也有人类存做,但是但是做的比如说你three d对吧,你怎么去给你一个人对吧,给你一个人的这种。
你怎么去抵上一个chair design,一个bicycle对吧,去去去去跟去呃,那你可对,我觉得我希望看到更多的这方面的工作,对吧,然后下面下面大家有什么问题以及对吧,我刚才隐喻对吧,我讲完了对吧。
然后我再重复一下,我就希望看到一些当年的task to d是没法做的对吧,这样的话你就能把这个field gros了对吧,就是isolate对吧,你否则什么他们to d做什么水做什么对吧。
data这不是对吧,我觉得不是长久之计对吧,别人笑话我们对吧,哎好吧,来半个小时对吧,我们看看看看你们有有什么问题问对吧,我都可以回答好吧啊,不限原的,什么东西都可以对吧。
就是怎么把physics material poverty,对不对,弄进去对吧,你比如说你一个椅子对吧,或者重建一个椅子,and send一个椅子对吧。
你不是说这个怕有没有想过understand这个这个part是用什么做的,他是个铁木头对吧,显然这个东西它有对你很显然你如果这么精确搞错了,你说你能你能坐上去会垮嘛对吧,比如说如果是paper做的。
那你人坐上去不就垮了嘛对吧,他肯定肯定他在这个我就是给大家写对吧对吧,或者这么抵抗的话,如果这个东西不是铁的这个木头的话,它看你能碰一下,它可能就顺了,对不对,就这些东西的话。
我觉得在td他就不好stand了对吧,也不仅仅是一个对吧,他跟你这个跟你这个三维结构对吧,它很有关系对吧,这方面的名字就我觉得还是太少了对吧,也没有data对吧,所以从这来一个问题啊,如果交一些材质。
嗯,是一个good good point对吧,用什么数据集来train对吧,个人感觉的呢就是说three d的圈里呢,应该是一部分lbl这种东西重建的东西对吧,还有就是这些东西嘛,他你可以折。
我这么说吧,就是说你比如说厂家生产一个东西对吧,这个sweet model的对不对,各种东西的对吧,我们就是没有这个data对吧,如果谁能帮我搞一个这样的dataset,我觉得这是很好的对吧。
也不需要大大的,其实好多时候你不用一次,就是这样的,不仅仅是说啊你一个人去搞对吧,你比如说你你首先这个bd只有一个人对吧,你过了2年这个p的有五个人对,过了3年有十个人,20个人对吧。
你这个骗子越来越多,大家如果有人感兴趣的多了对吧,慢慢的他们就会有一个人来,那可能别人就有资源嘛,对吧对吧,然后慢慢你就有更大的dataset,关键是怎么就没有这个东西对吧,对吧对这是很重要的对吧。
它是一个能称的东西,它是一个囊撑的东西,但是还是太少数据能获取,这么说,比如说你能check每个人有一个比赛,他a上去,不过数据数据对吧,他这个东西也是对吧。
我觉得我个人觉得有时候你可不是一个这样的数据集对吧,办法就是实际上好多时候它不是解跟减一个数学题对吧,它是一个活动,能摸更多的人进来对吧,慢慢这个处理器就大了对吧,有这样一个东西也能引入更多的进来对吧。
还有什么问题我希望大家多提问啊,我觉得这些问题都很好,哎我也想一些对,作为一个finity对吧,就是mid career对吧,我也不是不像那个刚才坐下后对吧,别去毕业很多年了对吧。
秘书谈一些对自己对这个feel这种这个见解吧对吧,也不一定都对对吧,但是我希望大家就是希望大家对大家有一些启发嘛对吧,其实国内嘛我个人觉得就是,大家去开发啊,就是实际上果然粉丝的人。
特别是果然粉丝都是你能做,就是引诱更多的人进来,就知更就是让他更每个老百姓的生活对吧,去想一些点子对吧,其实很容易其实是很容易投入这个feel对吧,因为现在大家生活以后。
你慢慢的对对这个数数字这个需求那个的对吧,我觉得就是不仅仅是我就是就这么国家层面来投投钱对吧,也可以开发一些渠道对吧,去去promote这个field啊,从caa从各方面对吧,有问题吗,随便问都可以啊。
随便问啊,我觉得今天聊得很开心啊,是true method,其实在vd会有更大的能信对吧,因为嗯that’s really d嘛,嗯你你lose information更能更少的话。
实际上就跟你用一些这种你就这么hand classy的话,这个路这种空间就更大了对吧,空间就更大对吧,这种空间就更大,对不对,我从这个角度来讲,就是说呃对吧,interesting嘛,对不对。
所以从samsuper weekly sui,实际上就是说你要做成的话,实际上就是你要加入一些inductive bus svd的话,你比如说你snh啊,permit啊。
这个这个是ioc information对吧,这种各种东西都我们都会model,这个电影没法做嘛对吧,这样的话有了这些东西以后,你就能死的,你可以减少这个three d的数据量,对吧对吧。
比如说做shisetation,你如果能在能在很早的category上面把这个shape semitation做好对吧,个人感个人感觉a对吧,你比如说你1000个category of mamad。
56开这个v就能把什么东西都cover住对吧,啊,从这个角度来说,大家可以想一想,对吧好吧,问题,随便问啊,不要拘束对吧。
二,大家希望希望希望大家也刚才我我会再多讲两句,这个weekly对吧,或者下面说话对吧,不仅是你看这个三虚化和mini虚化的,它不仅是说呃你这个呃,这个这个这个data的个数对吧。
同时也决定你有什么representation对吧,你data咋了,那你就加representation是吧,three d的话,比如说计算机这个object之间的distance对吧。
你比如说不同的representation去怎么怎么去made这个representation compressing,对吧啊,从这个这这几个角度对吧,想一想对吧,你可以去想一下啊,还有什么问题对吧。
咱们那个欢迎大家那个留言是吧,没有问题了吗,我再等几分钟吧,好吧,都可以问嘛对吧,我希望大家关注一些这种不同应用场景对吧,三位视觉autom driving,对不对对吧。
或者就是understanding or tom striving,你没有想过这个,你们想过一些别的场景音作二作什么城市里面对吧,你们想过一些别的产品对吧。
这种这种比如说这种水箱water的这种随机的重建对吧,水象你其实你比如最近大家研究别人有流行,研究这个从上从这个从这个声音,这个声音加上这个,呃这个这个这个image你可以做重建对吧。
水箱你没想过声纳对吧,你可以跟vigil对吧对吧,做重建对吧,其实你想哪个的这种,你想哪个impact的要大,俨然那个水下的那个impact要更大一些吧。
哈我希望我个人觉得就是你你你其实所有人都做一个什么一个lnt,我希望就是说比如说你从一些管理,我们能开辟一些新的东西来做对吧,来做对不对,我希望就是其实其实很多data他的获取吧,他就是。
smart idea对吧就对吧,但是你最开始promote一个feel的时候,可完全可以用synthetic data开始,对不对。
我希望就是那个conference organize能tolerate这些文章对吧,没有一个view data set对吧。
但是我可以从similar data来解这个verse the problem对吧,比如说水下对吧,对similar这个water对吧,这个这个东西,所以任务我对你包括这种呃这种这种。
这种高海拔的地方对吧,海拔的地方的这个这个对吧,随着这个这个这个这个空气不一样对吧,你这个外部环境对对这个生物对吧啊,这是影响对吧啊,这都是很好的问题。
怎么我我觉得我就是说怎么用grace vision去改变我们,就是我们就是真正就是augment人的这个which rehability,对不对,我觉得这都是一些很好的问题对吧。
这些东西我都希望大家认真去想一想,认真去想一想,什么问题,希望大家踊跃发发言对吧,我觉得今天问的问题其实都比较好嘛对吧,提问吗,就是呃你们那个,有什么问题吧好吧,你上了课以后,下了课以后,我刚才说了。
你如果对这个30mp感兴趣,你可以跟我联系对吧,然后你也可这个发email给我,好吧啊,有些我后来才看到你很多email,听到我那个拿邮箱了,我也不知道为什么啊好吧。
是我们可以通过这种方式去那个聊天对吧,反正我我就做一个坦白吧,只是说就是说呃有一点反复强调,就是说我觉得大家不要忘了这个这个stars stars好吧,traditional就是这种很早以前的东西好吧。
我我希望大家千万不要忘了这个东西对吧,特别是deep learning的时候,不要太急对吧,你先把基础打好,就是我觉得是这样,当然就我个人感觉就是你如果要真正做好的米设计,你要你要是把这个q的话。
怎么发展到这一步的,你要可以认识清楚,你认识清楚,懂我意思吧,哎你要把它认识清楚,这个基础以后呢,你才做更好的东西好吧,有了技术的基础以后才能做更好的东西好吧,我这门课主要给我没讲多少,这个你的求你了。
我我自己也不是那个呃不很喜欢这个东西啊,我讲的大部分都是这种传统的东西对吧,呃怎么他以及他们怎么在地图的那里面通氧化的好吧,那呃我们这这节课就到这好吧,然后你们有什么问题啊。
你可以随时跟我那个白衣乐好吧,我愿意回答愿意回答呢好吧,然后,你们可以呃,我我只要只要只要你们就是我,我我有微信啊,我有微信是吧,我但我不会在这公布对吧,但是你能你要了我的微信,你想加我对吧。
你上了这门课,我一般都会接受好吧,哎可以可以通过这个方式去聊吧。
那今天就这样好吧。
GAMES203: 三维重建和理解 - P2:Lecture 2 Registration - GAMES-Webinar - BV1pw411d7aS
好。
我们今天开始那个第二节课啊,那个这一个我们讲这个注册问题啊,就是这个点云的注册啊,注册问题就是这个这个东西啊,在,三维重建啊,类似的问题里面有广泛的应用啊。
这么这节课呢会相对来说比较technical一点啊,嗯,这个,嗯,这个东西呢,如果要把所有东西都讲全了啊,一节课是不够的啊。
嗯,我希望在这里就是做一些,那个抛砖引玉的这个工作啊,我我讲一讲啊,什么注册呢,注册实际上就是说,比如说我们在有一个扫描仪,上一课我们讲了扫描仪啊,然后,然后呢,你你在不同的视角,如果扫描这个三维场景。
我们就会得到那个不同的这个点云,对吧,三维的这个点云这个点云呢,他显然就是说,如果我们不知道这个视角对吧,就不知道这个,相对的这个,这个变换的话对吧,那那注册这个问题呢,实际上就是通过我们把这个啊。
这里这里有个动画,我们就通过把这个两个scan呢,我们把它给匹配上对吧,匹配上也就是说啊,intuitively对吧,就是说啊,他的这个在他们那个相对overlapping的这个vision对吧。
他们这个距离是很很小的对吧,他是这样一个motivation,好那注册这个问题呢,呃非常非常,呃fundamental啊,嗯,这节课呢,我们主要是讲一讲就是这个,呃一些基本的一些基本的算法啊。
一些基本的算法这个topic呢,非常非常的老啊,就是说从九十年代对吧,那个最著名的那个算法,比如说那个ICP这些东西东西对吧,呃一直到现在现在就是说在机器deep learning的时代呢。
也有一些人用这个机器学习的办法对吧,实际上也是把这个scope就是他这个给extend对吧,啊然后我首先讲讲呢,就是怎么把这个task呢,做些就分类对吧,就是这个注册这个问题啊。
我们怎么就是他他是一个大的问题对吧,他有很多呃特定的这种setting对吧,比如说我们实际上他有就是有三个方向和方面吧,我希望大家注意一下对吧,就是比如说你在什么场景用什么样的算法对吧,一个axis呢。
就是说呃有时候呢,是呃就是我们叫这个fully overlap对吧,就是说两个surface呢,他是或者就是两个surface呢,他是就是一个是另外一个copy对吧。
或者是另一个是在旁边在另外一个里面对吧,这就是fully overlap对吧,那这个应用场景是什么呢,啊,你们有谁知道什么是应用场景,这个应用场景是什么对吧,这个应用场景就比如说你做你做模型检测对吧。
你得到了一个对吧,你得到了一个你制造了一个三文模型对吧,如果对吧,你扫描一个skin对吧,对吧,扫描了一个skin,比如说你造了一个零件对吧,然后你你用这个扫描一扫描,skin,然后你把这个skin呢。
跟这个model里面的这个这个东西去做匹配对吧,一个database里面的东西去做匹配对吧,就是你的光出示model,你看看这个误差制造的误差是多少,对吧,哎,这就是fully overlap。
更常见的一种呢,是partially overlap,比如说你做三维重建对吧,你在不同的视角扫描的这个那个点云呢,肯定不会是fully overlap对吧,他是肯定是他有一定的overlap。
但是因为你4点不一样,显然他有一部分他是不overlap对吧,哎,这这这这这这是一个axis对吧,大家一定要注意啊,就是首先咱们讲一个一个topic,首先就是比较重要的就是分类对吧。
分类其实也牵涉到你的task是什么东西对吧,但fully overlap肯定是最基本的对吧,哎,第二个axis呢,就是global和local的问题,什么是local呢,local就是说。
这两个点云基本上我已经roughly匹配好了,对吧,你比如说这是比如说你扫描的时候,你你扫完第一帧和下一帧之间,他有这个连续性的问题对吧,他有这个连续性的问题对吧,哎。
这个是这个时候你这两个他就他就接的很紧了,对吧,他有连续性的问题对吧,啊,这个时候他就是一个local的问题,因为你下一帧跟这一帧,其实你那个verity pose不会比identity差很远,对吧。
哎,这是一个local的问题对吧,呃,global的问题就比如说你你在室外你扫描的时候,你比如说你你架设了一个camera在这个地方扫了几帧,然后呢,你然后我们把这个camera对吧。
移到了另外一个地方在扫描,这个时候你就不知道这两个scan之间的verity pose,你并没有对吧,他可能差别很大,对吧,这个时候你就解决一个global的问题对吧,global的问题。
但是相对来说他是比较难的对吧,哎这门课呃这节课我也会讲到还有一个东西呢,他就是说pairwise对吧,就是你两片点云对吧,两两片点云去做注册对吧,和你多片点云一起去做注册对吧。
显然做重建的话肯定是多片点云对吧,两片点云是不够的啊,好,啊,我们都会讲到啊,那这这奥特曼我们首先是focus on这种两片的注册问题对吧,我们会cover很多东西就是fully overlap对啊。
哦,partial overlap对吧,我们会然后这首先想到一些local的办法,然后会最后会讲这个global的办法对吧,然后我们会cover这个learning base对吧。
就是说机器学习那么是最近的这些东西对吧,最近的这些东西啊,啊,然后我们会简单讲一讲这个multiple registration对吧,就joined pairwise registration。
或simultaneous registration with construction这种东西,哎,好,好,我们首先讲这个pairwise registration对吧。
实际上pairwise registration呢,最重要一个算法呢,实际上就是这个ICP啊ICP对吧,就ICP它实际上是基于什么呢,基于以前一个很重要的方法,就是说你比如说有两片点云对吧。
你比如说这个一个红的跟一个蓝的对吧,然后我们要去做注册啊,然后这个时候呢,我们假设我们知道一些correspondence对吧,就是红的上面一些点跟蓝的上面一些点。
我们有这个correspondence对吧,对吧,然后有了correspondence呢,我们就会找啊,然后呢,请注意一点很重要一点就是优化在这个地方是很重要的,就比如说,嗯。
比如说我们会define一个energy对吧,energy就说我要找一个rotation,这个PI比如说它是一个一个点对吧,一个vertex,我也找一个rotation一个translation。
使得你比如说你把这个算了以后减去QI,他们这个square的none对吧,他们distance要minimize对吧,这是一个优化问题,这个地方优化问题呢,一般情况下他会注意一点。
他就有一个objective function,他有一个objective function对吧,然后他还有一个variable,variable是R和T,就是rotation。
translation对吧,对吧,然后我们就是要minimize这个objective function,with respect to rotation translation对吧,啊。
这个东西呢很有意思,就是说有一个closed form solution,啊,closed form solution啊,这个地方我就不讲了啊,就是说你可以查对吧,这个home87啊。
有一个closed form solution,closed form solution呢,就是说啊,有几点你可不可以记住啊,就比如说你那个第一个点云对吧,比如说这个PI,他会把他的重心呢。
就是他的mean对吧,呃,跟那个第二个点云的meanalign在一起对吧,然后rotation的话是解一个eigen decomposition,ok。
这是这是一个closed form solution,然后这种东西呢,嗯,比如说大家如果做这个什么as rigid as possible deformation啊,也会用到啊,ok,然后ICP呢。
但就是说你做注册的时候你是不可能知道correspondence的对吧,你是不可能做的这做的知道correspondence,那这个时候怎么做呢,我们还是要想一个办法,比如说你怎么去找。
比如说那个红的上面是每一个点到对应的栏上面这个对应是怎么找对吧,ICP呢,他就是说呢,其实很简单对吧,我们不需要那个很复杂的那个办法,我们就找那个closed point,对吧。
比如说你红的红的是在这对吧,你找closed point,但也就是说你你这个correspondence呃在这个红的跟蓝的他距离比较远的时候,他肯定这个correspondence不是那么精确的对吧。
但是没关系对吧,你不精确的话,就是说你的solution也不是太精确,但是他会make make一个progress对吧,那这个时候怎么办呢,你你然后呢,你再怎么做呢,那你就iterate对吧。
实际上就是说我不断的找找最近点对吧,找到最近点以后呢,我会解一个rotation translation对吧,解一个rotation translation对吧。
但是这个最近点因为他如果最开始的时候他不是很精确,这个rotation translation也不会很精确对吧,哎,然后你就这么iterateiterate,最后就能得到这个那个有解对吧。
就是说你这个correspondence,比如说你你你你两个是跟距离越近的时候对吧,他可能越好,就慢慢的慢慢的变好,同时你的pose也会不断变好,哎,这就是一个简单的icp对吧,icp啊。
这个这个这个算法呢非常inferential啊,再对,对,这个这个非非非非常inferential啊,呃对迭代就那个这这有个谁,我是一分小虎牙是吧,对就迭代就完事非常简单啊,非常简单,啊,然后呢。
我想讲的什么我们还需要一些理解理解,就是说实际上就是说为什么为什么这个能work对吧,就是说实际上我们可以这么看吧,就是mathematically呢,就实际上就是说你比如说你的surface。
那个红的上面有一些点对吧,是x i 0对吧,alpha呢实际上是你的一个visual body transformation,对吧,然后fine呢是我们那个男的那个surface啊。
就是前面这个slide对吧,然后实际上我们是the distance,d2呢是那个一个点到一个surface的这个,square的distance,对吧,然后呢我们实际上是想minimize这个f。
alpha对吧,呃这alpha呢实际上是个visual transformation,对吧,f呢是一个objective function,这是一个什么。
这是一个这个objective function对吧,嗯,对这也是一个minimization problem,对吧,只是说只是说这个比较复杂一点,那icp实际上就是说呢。
你不管是optimized alpha对吧,就是给给定correspondence,还是你算这个correspondence,实际上也是minimize这个distance,把一个点到一个曲面的距离。
最近的那个点就是close to the point对吧,所以就是说icp这个这个算法呢,它是一个首先它是alternative minimization对。
就是我alternative就是我我首先优化这个transformation,然后再优化这个嗯,嗯这个这个close to the point对吧,然后呢有一个argument就是说,他首先会收敛对吧。
首先会收敛,为什么呢,因为你的energy function是在不断下降,对吧,然后呢另外一个东西呢,就是说不是那么容易去证明呢,它实际上它是有一个linear convergence。
那convergence的rate当然不是,还是比较慢,linear convergence啊,linear convergence啊,就一般情况下。
如果你说你有一个objective function,然后你有一个优化的过程,对吧,这个优化的过程是不断的reduce,它的那个。
呃这个这个value of the objective function的话,那呃,一般情况下你是它是有一个linear convergence,啊,但实际上我要我要跟大家讲的一点。
就是说实际上它也不一定对吧,就是说你比如说你有个fx等于x乘以x对吧,然后你这个iteration假设你这iterate,是xi等于3加上e over i对吧。
那你每一步都reduce这个objective value对吧,但是它不它converge,但它不converge到一个local minimum,对不对。
它不converge到一个local minimum,啊,所以这个地方你还是要注意的啊,这个地方你还是要注意的啊,啊,就是说你没你我经常看一下,我经常review一些,文章对吧。
你看了我们这个amg一定下降,所以它一定converge,没错,它一定converge,但不一定converge到to a local minimum,啊icp它这个你是可以证明在一般的情况下啊。
它是converge to一个local minimum,啊,这一点大家需要注意啊,平时写文章的时候需要注意一点啊,好,当你在icp它从优化的角度来说。
你这种alternating minimization,它不一定是一个最优的东西对吧,实际上比如说你如果有一个像这种least square problem对吧,这个fr等于这个东西对吧。
这个这个least square problem,一般情况下现在大家都怎么解呢,大家都用这种高斯牛顿的啊,就是呃我们叫做这种non-linear least square对吧。
比如说什么是这个least square,比如说那个那个distance fraction的square对吧,加在一起对吧,哎,这些东西,对吧,对这这些算法呢啊,这个东西呢。
呃现在一般情况下大家怎么写叫做高斯牛顿啊,高斯牛顿是怎么来的呢,首先你首先有个牛顿的办法,牛顿的办法就是说,啊我每一步呢我首先算这个这个这个这个objective function的hash,对吧。
然后还要算它的gradient,然后我们呢我们基于这个hash的因果式乘以这个gradient,做做这个step size,对吧,我们我们来做这个,来做这个东西对吧,然后。
啊那高斯牛顿呢实际上是用一种比较呃比较传统的办法,就是efficient的办法来算这个hash对吧,就不是我们不是把二阶这个他就算出来,我们算成算他甲铐饼对吧。
甲铐饼的转制乘以甲铐饼就是就是他的那个那个hash的一个approximation,对吧,就是一个hash的approximation,对吧,哎这个就是高斯牛顿啊高斯牛顿。
啊这个东西呢啊我建议大家看一下这个高斯牛顿的wikipedia page啊,比较难点就是说实际上这就是说怎么做呢,就是说啊如果你对这个东西不是很熟悉的话,那我们怎么办。
就是说我们假设有个beta的就是common solution,对不对,然后呢,我们会把那个这个visidio对吧,就比如说这个distance对吧。
我们在这个这个每个就是每一个correspondence和local里呢,我们做一个这种pilot展开啊,然后呢这个地方delta就是我们要optimize对吧。
jr这个beta s他实际上就是啊他的linear approximation对吧,然后我们就会minimize这个delta对吧。
然后呢the south square of the right hand side对吧,他是一个linear linear least square problem。
which can be solved explicitly对吧,就是一定的normal equations in the algorithm对吧,就是他他实际上就是一种啊这个东西对吧。
就是这个就是这这个地方实际上他是一个least square,啊,least square,啊,这个算法呢实际上它是iterative对吧,就是当然我要讲一下就是讲一下这个高斯牛顿他的这个迭代对吧,嗯。
就是牛顿算法我们知道他是quadratic,quadratic convergence,但是呢,呃他的cos如果你要做呢,你不能你这个地方你省去了一些项对吧,省去了一些比较复杂的这种求导对吧,啊。
那高斯牛顿他是相对来说比较简单的对吧,每个term我做一个linear linear linear的这种,啊,approximation可以对吧。
然后有一种quasi quasi quadratic convergence对吧,这样就是呃,就是这个L as the next iteration对吧。
实际上等于L as the current iteration对吧,然后呢这个高斯牛顿他的这个迭代他这个呃呃他这个convergence呢就非常有意思啊,非常非常有意思。
就是我们知道ICPICP是用的最管理一种算法的,非常非常简单对吧,就找最近点,然后解找最近点再解对吧,呃,高斯牛顿算法呢,嗯,就是相对来说复杂一点对吧。
我们要做这个linear approximation啊,但是其实啊也不是那么复杂,但是convergence很有意思,就是说你这个问题如果容易记对吧。
就是比如说你你这个最优的那个解他这个residue对吧,就是你解完了以后,比如说一个在另外的里面或者就是说你这两个scan他的基本上是匹配上的,没有什么noise对吧,这个时候呢。
他的这个高斯牛顿的convergence是非常快的,就几乎接近于这个second order convergence,ICP是这个linear的啊,但是如果你这个residue非常非常的大。
比如说啊一个scan跟另外一个scan比如说的不不不fully overlap,当然我们后面会讲怎么处理啊这种情况,对吧,另外一个就是说比如说你这个有noise对吧,就是他这个点他不能完全匹配上对吧。
不能完全匹配上,哎,这个时候呢,你的convergence呢就跟ICP差不多,可能一般情况下比ICP稍稍稍稍好一点,但是他是一个linear convergence。
甚至有时候你如果这个accord特别大啊,你需要加些,你需要需要对在这个地方,你对这个hashing啊,就是这个这个地方对吧?你要做一些做一些处理啊,做一些处理啊,就DFGS对吧?
And number of markers is a regularization,做这样的处理对吧?啊,这是这是这是需要需要需要注意的啊。然后这个Gauss-Newton呢。
也等同于一个这个就是说在这个point to plane distance metric下面做注册对吧?
就是就是Gauss-Newton needs to the falling of this problem对吧?就是说,嗯,实际上呢,就是说我优化的时候呢,啊。
当然这个C实际上就是说他是这个rotation univision啊,就是说优化的时候呢,我实际上是,呃,就是说我不是,比如说我们ICP的时候对吧?啊,我们是算一个点到他给的point的这个距离对吧?
啊,我要minimize这个,但这个东西为什么不好呢?就比如说你是P动了以后,你optimize以后对吧?你这个对吧?他不对吧?你你你这他给的point的不是你的最经典了对不对?哎,对吧?
你找你优化之前是对吧?你优化之后就不是了对吧?哎,这个distance就不好了吗?啊,那高速牛顿实际上是说什么呢?就是说如果就是说这个这个这么这个这个这个这个这个优化造法在这个注册的这个问题中啊,啊。
他是什么意思?他说,哎,我不优化每个点对吧?我不优化每个点到一个点的距离,我优化一个点到这个平面的这个距离对吧?当你当你这个点动了以后对吧?你可能到这个点的距离对吧?他就歪了嘛对吧?
但是你掉这个平面的距离,比如说你到了红的这个点对吧?你红的这个点到这原来这个点,他还是有距离嘛对吧?但是如果你用你manager的是对吧?你到你到这个。到到这个红的这个点。
他是这个plane的这个距离对吧?这个时候你这个p在不断动的时候,你到这个plane的这个距离的平方啊,他还是一个good approximation。对吧?
他还是一个good approximation。哎,这就是point plane的这个geometric intuition,当然就是说高斯牛的这些都是inside的,我们是后面才发现的啊。
就是这个算法,哎,它是91年对吧?就是这是一个很有名的文章,也是一个很有名的文章。至于那个ICP那个文章啊,对吧?这个算法其实也很简单对吧?你你把那个rotation translation。
你把它给linearize一下,实际上他就也是一个解一个什么解一个那个linear system对吧?你解出来以后,然后你再update这个rotation translation。哎。
这个算法其实也是,呃,很简单的啊。这个今天上课有什么问题吗?这个pp的啊,scan应该是今天上课对吧?9点钟。啊,我就是每周每周五的早上啊,北京时间4点钟啊。OK,然后你要如果你想对这个东西要要有。对。
然后如果你对这个东西要一定的了解的话,你可以去看这个有一个东西叫square distance function,对吧?实际上就是每个点到一个surface的square distance,哎。
这个东西。呃,它是一个square distance function,我们可以看看这个东西,它是它是跟这个,呃。它跟这个,实际上这个square distance function是什么。
就是你空间中一个点对吧?到一个曲面的距离,它的平方对吧?它能被这个二次二次性给逼近对吧?这个d呢就是一个点到单到那个surface的距离啊。对。
如果一座罗安实际上是那个curvature的inverse对吧?实际上就比如说你如果如果这个曲面特别flat,特别的平。呃,那那你这个罗伊和罗安都非常非常大对吧?实际上也就是说你前面两下消掉了。
也就是说,呃,它是什么?就是你到那个点的那个plane的distance平方,它就是一个good approximation啊。啊,这个我这是可以看到画面的啊。啊。啊,所以就是说,比如说,那就是说的。
特别是你当你这个d,比如说你这个d,它本来就很小的时候,对吧?就是当你这个,嗯,当你这个,嗯,嗯,你这个单纯点到这个service的距离很小的时候就很好,对吧?好吧。嗯。OK。对吧。
这个时候就可以用point to plane distance,所以说这个ICP呢,就是说我刚才讲的呢,它实际上第一种就是你这个,呃,它有一个最基本的算法,对吧?最基本的那个算法,然后呢?呃。
point to plane呢,实际上就是它是一个variant对吧?就是说它这个efficient variant。嗯,然后他从哪来的呢?他是从这个高斯牛顿这个算法来的啊,告诉你,我问这个算法来的啊。
大家有兴趣可以看看这篇文章啊。好,呃,然后那一般情况下怎么说呢?就是说一般情况是这样,对吧?就是当你这个你的初始的这个pose非常好的时候,那那你就用point to plane distance。
对吧?当你这个如果出事,这个距离跟那个很远的时候,你不好说,那你就用point to plane,对吧?那个时候相对来说,他相对来说,他比这个呃,就是相对来说,他鲁邦一点,对吧?相对来说,鲁邦一点啊。
但这些东西呢,实际上你要通过做实验啊,我们会有一个作业啊,我们会有一个programming assignment基于这个基于这个东西啊。好,嗯,然后呢,那他当然还有很多很多的问题了。
你比如说你怎么算你的snap对吧?这个我觉得,呃,大家要注意一下啊,但是现在这些东西他都有很好的这种software package,对吧?如果你用message变成的话,你可以给你一个点语音,对吧?
呃,然后你输入一个输入一堆点,对吧?他算你的snap,他有很好的算法,现在现在有很好的算法来算这些东西啊。嗯,提前放slide,嗯,今天那个暂时没有啊,暂时没有啊,但是没有。下次啊,下次一定提前放啊。
然后这是一些practical的,呃。嗯,我就说你算你的snap,你现在当然有很好的,那你以前怎么做呢?你会有些kd tree,对吧?
你就可以build一些这种hierarchical的data structure,对吧?hierarchical的data structure,对吧?比如kd tree来算你的snap,对吧?嗯,啊。
啊,这个slide我尽量讲完课以后,我放上去啊,因为我们这边现在就是放slide的话,就是我尽量讲完课,换了去啊,这样讲完。然后next level computation,啊,这个这个东西算最近点啊。
就是说现在有很多好的货,对吧?但是你要说,这个东西具体怎么去算,对吧?具体怎么去算?会比较好?呃,这个,呃,有一种data structure叫kd tree,啊。
让它是一种海外hierarchical的这种organization,OK?hierarchical的organization,啊,这个大家有兴趣可以去看一看啊。当然,比如说甚至有一些算法。
他们直接build一个data structure,就是说我直接用这个distance function,对吧?直接用一个这种hierarchical的东西。
我build一个distance function,对吧?我不用找next level,我直接找,直接直接对任何一个点,我就会知道,对吧?我就可以直接得到这个,呃。
这个这个这个这个一个distance function的square的approximation,是吧?这个也可以用来做输出,嗯。对,嗯,这也是一种一种办法啊,OK,然后呢,还有一点呢,就是说。
比如说你红的跟,呃,那个蓝注射对吧?你build,define那个distance function,你需要,呃,你需要有一些需要进行一些采样,对吧?需要进行一些采样,呃。
那一种采样就是你说uniform sampling,对吧?就是均匀的采样。还一种采样呢,你就是说这个stable sampling,对吧?就是说你会在这个fisher这个地方采的更多一点。对吧。
在fisher的地方采的更多一点,对吧?嗯,因为这些就比如说你如果一个surface非常flat的话,那你只有在fisher的地方你采的更多,你才能align的很好嘛,对吧?嗯。
你否则你采样都采在那平的地方,他就没有这种constraint那么的给呃,lock在一起,对吧?这个stable sampling,对吧?你看这个有uniform sampling。
有stable sampling,对吧?就是说你如果是uniform sampling,你就会发现,对吧?就是说如果你这个取呃,这个surface或者这个东西,它会非常非常平的话。
你如果用uniform sampling,你会发现这些fisher,他align的不是很好啊。如果你用一种stable sampling,就是说我听,当然这个算法呢不是那么简单。
就是说但是intuitive,就是说你尽量比如说你让这个点,他比如说他的normal,对吧?尽量的uniform,对吧?啊,这个时候呢,你就会在这些,比如说这这种这种fisher的地方采更多的点,对吧?
这样就能把它align在一起。OK。哎。All right。OK,有什么问题吗?如果两个扫描点云很多,其实其实这个复杂度的话,呃,他是跟你,比如说你在一个点云上面三跑多少个点,对吧?然后呢。
如果你的点云的数目非常非常多的话,这个找最近点啊相对来说要困难一点啊,相对来说要困难一点,但是呢,就是说如果你能一次性的build一个这种nearest neighbor的这种beta structure。
这也没关系。啊,这也没关系。啊,嗯。就是说,就是说,你说对吧,比如说我们你build一个这种,呃。对吧,你不对吧,你build一个这种nearest neighbor的beta structure。
是吧?这个时候他的complexity就是找那个最近点的complexity是node n吧,n是人的number of points,对吧?这个时候还好啊。嗯。然后采样对吧。
你注册的时候不是用所有的点,好,这是然后我再讲讲partial overlap怎么处理,那么现在的话其实就是说我找最近年我,我是要求这个最近点一定一定是就是你优化好了以后,对吧?
他一定是一个correspondence,对吧?但是如果是partial overlap的话,这这这不一定对吧?那这个时候呢,我会怎么来做呢,对吧?
那我会我会找这个restriction on the robustness是吧,我就说这个时候呢,我不是用这个什么,我不是用这个这个l2,对吧?我是用一种robustness。
但是这个robustness为什么好?哎,我会我会给大家待会我会给一个例子啊,我讲一讲。嗯。对,我会讲globalization的办法,这个是我是假设的是。
你会有一个不错的initial solution啊,我当,待会我们会有大量的篇幅,像这个global的算法啊,嗯,你不要着急啊,对,合理的初始位置很重要啊,所以这一点说的很对啊。嗯。
但是比如说你有一个合理数字位置,它还是牵涉一个什么问题,牵涉了一个,比如说比如说它只有50%的点是有有有对应的,对吧?你这个时候,如果你把那些不对应的点也找了,你也让他去,那的话,这不就出问题了,对吧?
那怎么来handle这个问题呢?啊,怎么来handle问题呢?一种principle的话吧,就是你用一个robust norm,对吧?就是说我,比如说我这个,对吧?我就是这个是我让他就。
然后是一个robust function,robust function是几种,对吧?比如说有这个,那个,那个,这个,对吧?这个是t平方除以,除以sigma平方加t平方,对吧?哎,这是一。
这是一种非常robust的function,对吧?然后容易t实际上是这个t的这个绝对值,对吧?哎,这叫l1,对吧?然后我们现在用的呢,实际上是l2,对吧?这个当然不好,对吧?实际上就是说啊,嗯。
这是一种呢,就是说,嗯,这这种这个统计里面robust statistics这些东西是用的很多的啊,用的很多的啊。啊,然后然后一般情况下我们会怎么弄呢?我就说实际,对,就就是说我们,我们。
我们实际上的还是就是说,还是做这个,嗯,优化,对吧?只是说我们用一个robust norm,对吧?一种情况下还是可以用高速牛顿,因为他还是一个什么?他还是一个这个,一个一个nonlinearly,对吧?
你可以把它看成是这个东西啊,一种大家用的比较简单,对吧?一种大家用的比较多的呢,实际上就是更更interpreter的东西呢,实际上有一种东西叫we wait,就是这个东西呢,很简单啊,很简单。
实际上就是说我原来是要优化这个role,对不对?这个role呢,他不是这种我们常见的这种least square的形式,对吧?嗯,那我怎么样呢?我就把它变成这种形式,对吧?
我就除一个square的这个distance,对吧?然后再乘一个square的distance,那个wi呢,他实际上就是这个ratio,对不对?wi就是这个ratio,对吧?嗯,你会发现呢。
就是优化好了以后呢,啊,就是说,呃。比如说比如说law等于t吧,对吧?等于t,对吧?然后实际上这个wi就是一解一除以t,对吧?一就是你,实际上就是也就是说你最后优化好了以后呢,为什么没带死呢?
就是说你优化好以后,你的一个点跟最近点的距离越远,对吧?一个点跟一个最近点的距离越远,那他对应的位置就小,对吧?对应的位置就小,对不对?这个时候呢,他就不会去怎么样?
他不会去contribute to那个那个determination,对吧?哎,好,实际上非常非常简单,对吧?也就是我们这个算法就是这样的,对吧?就是说你还是做这个L2的优化,对吧?
只是你把每个这个correspondence呢,加一个位置。对吧?然后为的比如说最那个那个前面我们讲的那个算法位置都是一嘛,对吧?这个时候呢,这个位置我就要让他呢不断的变化,对吧?就是我优化完了以后。
对吧?我也把这个位置设成一除以这个比滴流这样,对吧?对吧?哎,这,这,这是这样子,对吧?哎,这,他,他,他就是一种这种alternating的这种形式,对吧?然后大家如果还不理解,他说这东西为什么没干。
我用一个最简单的东西,跟大家把这个东西讲清楚,好吧?就是说其实就是一个王,就是说一条直线上有些点,对吧?我们考虑两个问题,对吧?一个是比如说,就是说这有些点呢是outline,有些点是那个inner。
对吧?比如说这里这边有两个outline,在这边有两个outline,在这边中间有四个点,对吧?啊,这没outline就是对应的,你可以就是他对应的是什么?就是那些不在overlap。
那些那些near neighbor,对吧?不在overlap,对吧?然后中间这个inner呢,他就是overlap,对吧?然后这,这就有两个算法,对吧?一个算法就是说我不用robust,弄。
我就直接说我找一个x,对不对?然后去minimize,比如说他到所有点的平方和,哎,这个东西。嗯。嗯。第二个呢,我就是找这个东西呢,你说我这个优化的x,他就是对应的是什么呢?他就是对应的是x的值吗?
他的一个命对吧?一个平均。对吧,x的一个平均啊,然后呢,另外一种算法呢,我就是可以去找这个。对吧,这样的话,当然他不好了,比如说就是说如果你有outline对吧,比如说在那里,这个命就会被拉掉,对吧?
被拉掉,对不对?就不在不是我们想要的,对吧?如果有outline,就是不在那个overlap的。好,另外一个算法呢,就是怎么样?我就用这个robust,弄的,我就说我不是minimize。
这个square的distance,我是minimize,这个l1的distance,x减去x,对吧?哎,这个时候呢,你说第二个optimization problem,给给说这个优化最优的解释。
实际上就是什么?实际上就是x的median啊,什么是median呢?median就是你把一堆点从左边到右边,对不对?你排排一个序,对吧?然后我找那个中间那个点,就这就叫median啊。
这个median呢?很有意思,就比如说啊,在意味的情况下,他正好是这个minimize of this,对吧?就是l1了啊。你很容易理解吗?就是你当时在中间的时候,你你变化x。
他的gradient是不会发生改变吗?左边跟右边怎么样?他的他有他的这个他的这个个数,对吧?就是那个点的个数是一样的,这样他的gradient,对吧?他就是0,对吧?他就会有一个平衡,对吧?好。
我一会儿讲,所以所以就是说这个robustness为什么好呢?就是说当你这个,比如说你是outlier,比如说你少于50%的时候,对吧?或者就是说你两边有一个balance的时候,对吧?
你这个median是一个非常好的什么estimation of the ground truth,对吧?嗯,mean就不是,mean就会被这些outlier怎么样给带走,对吧?对,没错。
就是说这个这个l2的话,这个outlier这个影响的这个这个这个东西太大了啊,这个。好,那个median computation呢,呃。你一种情况叫sorting,对吧?就sort,对吧?
其实你也可以变成一种这种这种weighted的这种average,对吧?就是你minimized of x,对吧?你就是sum of这个1从n的wix到x^2,对吧?就是说你waiting的时候呢。
你还是写一个mean,对吧?就是waited mean,对吧?这个wait呢是1,就是这个点,对吧?到这个每个点,就是那个你optimal solution,到每个点距离的什么?inverse,嗯。
你就可以说啊,我每一次呢,我首先解x,对不对?我解的说x,它是一个weighted average,然后我会update这个位置再回去解,对吧?对吧?
这这也有时候也他他综上也就是geometric median,对吧?这个时候呢,你就不你可以你可以证明了,就是说他他会说你老什么,在平面上他有这个性质,这个东西实际上是什么?
这个实际上就是这种be waited least square的这种思想,好吧?这就是be waited least square的这种思想,啊。啊,我就是用一个非常简单的例子。
跟你跟跟跟大家就是介绍一下这种东西为什么会work,啊,为什么会为我,哎,在这个算术题大家都会做,对吧?但是将来是以后呢,没有可送的solution,你还是要写一个这种point plane的icp啊。
但是这种这种basic的这种算的思想,这个地方是有的,嗯,然后你会问这个东西为什么会converge啊?这个其实不是那么容易,是啊,但是你可以,自己写一个code,你可以试一下,好吧?那不是那么容易。
正但是还是比较比较比较比较有意思的啊。好,这是一种这是一种思想,然后我们可以再可以看看这个什么,比如说bite rational,对吧?就是说,嗯。嗯,这是一个非常非常用的。
我觉得就是非常非常effective的,但实际上用的不太多啊,你们可以读一读,这是一篇sgp的05年的文章啊,那个sgp那个会刚开完啊,怎么做呢?就比如说你找了next neighbor,对吧?
那我能不能用一。哦,可以啊,就是,呃,这个算法是这样,就是你首先从。从第一个点对吧,到第二个点,从从从r1,你找那个next neighbor,是吧,找完了以后。啊,现在又回来了,我我好像有一点问题啊。
我希望这个录像没有问题。嗯。大家刷新一下啊,刷新一下。嗯。大家现在能听到吗?可以听到对吧。可以听到吗?
哎,我这边直播应该是好的,对吧?
我没有掉完啊。啊,OK,啊,我讲讲这个这个东西非常非常简单啊,非常非常简单,就是说你有一个点,对吧?你在另外一个搜索找最近点,对吧?找最近点。找完那个最近点呢,你再把那个最近点再回个头来。
再找这个最近点啊。嗯。再回过头来找最近,你看这个镜头就V,我首先找了Q1,对吧?Q1以后呢,再回过头来找最近找了r1,对吧?如果这个r1和V,他距离比较近。哎。
这就是一个好的correspondence啊,这就是一个好的correspondence。啊。如果如果这个比如说你你你看这个点,对吧?他实际上是在这边是没有最近点的,对吧?
就这个或者就是说这个最近点他不太好,对吧?那这个时候会出现什么情况呢?就是说你V2找了一个最近点,对吧?然后你在Q2Q2再找,再在回过头来找这个最近点啊,如果在啊,跟V2这个距离比较远。哎。
这个correspondence他就不好了,对吧?哎,就是这是一个我们叫做bidirectional pruning啊,实际上你比如说你看,比如说你这里有两个surface,对不对?
你把第二个surface这边wamp的model跟这个input data你去做做做做做做做匹配的时候,对吧?哎,这个地方实际上就是说他有很多地方,他这个他的这个correspondence,对吧?
这个,呃,对吧?他就会有一些不overlap的地方,对吧?你可以从这个方法去把那个tues出来。对吧?啊,这种方法呢,实际上呢,就是说他跟这个,呃,we waited这种思想啊。呃。
他跟这个we waited这种思想啊,就是,呃,相对来说,这是他是互补的啊,互补的。然后呢,我我要推荐一篇文章啊。
推荐文章就是efficient variance of ICP of ICP registration,就是simon,simon,啊,写的写的写的这篇文章啊,这篇文章也很有名啊。
它实际上它是从在ICP不同的角度,对吧?就是sampling,对吧?就是怎么去找这个对应锅对应点,对吧?除了near neighbor,比如说你真的做一个scanner的时候。
你还可以用那个projection,对吧?那个东西去找啊,那个找的更快啊,然后怎么去把autotrack给扔掉,对不对?然后怎么去,呃,或者就是把一些,呃,啊,一些点给reject掉,对吧?
然后还有arrow metric,对吧?就是特别是这种point of plain distance,它是一个很好的metric啊,啊,这篇文章,你们如果将来真的想。就是做一个scanner啊。
就是比如说connect这种东西的话,我建议去读读这篇文章啊,呃,现在我觉得这篇文章还是还是蛮蛮有帮助的,蛮有帮助的,嗯。啊,你可以去到网上找一找,然后读一读,也有些slides啊。
这个slides做的还是蛮好的啊,嗯,ok,然后呢,呃,我们休息5分钟,然后我讲global matching啊,global method,我最开始讲的是这种local的method,我休息5分钟。
我们接着讲global的method啊,嗯。今天的课会稍微长一点啊,可能到啊11点44,11点50啊。好,我们接着讲global matching,global matching就是说,呃。
我们需要一讲一进来算法,就是说,嗯,我们不需要这个好,这个初始的这种这种pose,对吧?啊,这个东西很广啊,实际上我这个问题也没有完全解决啊,呃,我相对来说会讲的比较high level一点。
但是有一有一些这种重点的思想啊,我希望大家那个能能能理解好吧,重点的思想啊,那基本上怎么做呢?实际上说白了,就是说我们首先啊,就是在这个这个时候我们就需要什么?需要这种inversion。
这种decision,对吧?就是我们在这个去两个surface上面,我们,呃,找这种inversion,这种descriptor,然后build一些correspondences,对吧?然后呢。
我们就能,然后呢,我们,然后呢,就是再把这个,呃,用这个rigidity constraint,对吧?去找一些这种,呃,找这个consistent的这种feature correspondences。
对吧,啊,他是是这样一种搞法啊。这个时候,呃,当然这是一种传统上吧,那现在大家说deep learning的时候我们怎么干呢?哎,deep learning的时候说白了,就是说实际上他就是说,嗯,呃。
现在的传统的做法,现在传统做法就是说,啊,我用我把这个feature extraction用这个neural network来代替啊,然后呢,这个matching这一部分呢,呃,我会用一个这个。呃。
用一个这个这个cooperation的这种module来代替啊,这个这就是一个大大致的思路,对吧?但是我我,呃,最后会讲一点,然后后面啊,我们具体讲到这个,比如说各种比如说点缘的表示的时候。
我们会再再提一提啊,怎么来解决这个这个这个global matching的问题。好,那其实也,那其实有几点呢?就是说,第一我们就是要找这个,比如说我们从首先从传统的方法讲起。
就是说我能不能不能找一些descriptor,对吧?使得比如说你在一个service上面算,在另外一个service上面算,这个descriptor,它是invariant,对吧?
它是invariant,对吧?这个descriptor是invariant,哎,这,这个时候呢,嗯。这个时候呢就是说那这样的descriptor有哪些呢对吧。
我简单地跟大家介绍一下这个东西对我这里有个link对吧我这,有link对吧你到时候这个是有录像的啊slides也会上传啊然后你可以去你如果有感兴趣你可以去找一找啊。
就第一个呢就是用的比较多的比如说screen image对吧怎么做呢比如说你每个点对吧我在算它的descriptor。
如果你上了它的descriptor比如说你再换一个service那个点你也算一个descriptor对吧。
当你他们的descriptormatch的时候你才会build your correspondence对吧。
如果所有的correspondence都build好了那其实对吧你会解那个那个用那个home87那个算法对吧来来来来做match对吧。
好那那descriptor怎么算呢其实这个东西呢就是说它跟这个传统的比如说image computer vision,精神及视觉里面的这些东西啊它也是对应的它也是它也是这个呃相对应的比如说。
呃比如说你再找一个点对吧你找个neighborhood对不对然后你你就会有一个direction和一个这个angle嘛对吧一个distance。
一个angle对吧这个时候我就会我就算比如说那个点对吧到这个这个东西的距离对我就对吧实际上实际上这个image呢实际上就是说,嗯对吧。
它实际上就是算了一个就是做了我们这么简单来说吧啊我说的不是那么精确啊就是说,就是给了每个点周围的这个patch对吧我们做一个encoding对吧使得这个encoding呢。
相对来说呢它是这个environment这个比如说你的这个frame的这个orientation的normal我还需要的啊这个orientation我们不需要。
好这叫spin images对吧就实际上就是说你你统计一下比如说到这个点都是radius的radius都是这个都是比如说距离都是0。5对吧你看一下这些点。
比如说你做一个这个fourier transform的coefficient对吧你就会把它把它来变用它来把它来变的用作这种spin image对不对,哎,嗯。
然后这里给了三个例子对吧就是说实际上这种encoding呢就是相对来说它是它是一个local description对吧啊,嗯,哎。
这个我没有讲的特别特别透啊啊因为我这个东西怎么说呢啊现在其实大部分情况下大家是用neonetwork嘛啊但是就是说核心的思想就是找一个这种environment的descriptor啊。
好然后第二种就是比如说integral environment这是我自己用的比较多的就是说实际上就是给一个点对吧我找一个球对吧我算一下就比如说这个球里面有多少的就是说有多少的area它在这个surface里面的这个integral environment对吧。
这个这个东西呢它是相对来说它比较鲁棒啊就是说你可以change同时呢它有个scale对吧它之前有个scale parameter对吧你可以change这个scale去。
嗯啊去去去得到这个不同尺度的这个descriptor对吧尺度越大肯定越鲁棒对吧然后它它实际上是related to这个mean coverage啊就是啊它有一个这个geometrical property。
还有other features就是3D sift啊对吧包括这种patch feature对吧啊这些东西呢啊有一点你要注意它都是handcrafted对吧handcrafted它不是学出来的。
但另外一点呢我觉得就是说这些东西还是很很interesting啊特别特别是我觉得在一些就是说嗯真正如果你要把一个东西搞的鲁棒你不能用noney对吧noney的话它它它它有在某些scenario的时候它存在generalization error对吧。
对吧,它存在这个generalization error对吧,在这个时候呢,它实际上就就会出现这个,出了这个,这个时候如果没有能力的话,相当于它也不存在这个问题啊,所以就说,现在另外一个角度来说。
我想说什么,就说现在大家都关心deep learning对吧,就说什么东西都是deep learning啊,但我觉得从做研究的角度来说,这是一个大的趋势啊,但是。
你怎么能保证你train the model,真正能generalize to,这个out of distribution sample的时候,这是非常大的问题啊,这是一个非常大的问题,好,好。
有了这些feature的时候呢,feature以后呢,那我们需要就是说,就mesh feature对不对,然后我们需要做这个,什么做,然后把需要把那个好的mesh给拿出来对吧,哎这一步的话。
这一步的话其实就是说啊,很有学问啊,很有学问啊,然后呢,我会讲几种其实这个这个东西最早就说这个问题呢,呃,在很多在计算机视觉里面它都存在啊,计算机视觉里面存在。
比如说我们讲那个有时候给给本科生上课有一个有一个fashion叫做fitting和regression,呃,这个,对实际上它它是一个2d对吧,啊这个东西呢,嗯,在视觉里面研究很多实际上在3d呢。
它会有一些不一样的东西在里面,它会有一些geometry在里面啊,但是核心的思想从2d来的,对吧,比如说你有很多correspondences对吧,你你首先extract这些point。
然后去做这个match,然后有很多correspondences,有些是好的,有些是坏的,那这个时候我怎么能把好的找出来呢。
哎这个时候就牵涉到一种呃就是有一种叫做random sampling consensus,呃这个核心思想是怎么呢,就是我找一找部分点对吧,然后我去feed一个region transform。
然后然后我看有多少个correspondences跟这个region transform consistent,对吧,然后呢呃我就找这个最多的那个对吧。
找那个我就sample出来的这个呃transform里面,它的inert的个数最多的那个,对吧,哎,然后第一个问题就是how many point pair specify a region transform对吧。
比如说呃,比如说在二维的时候,比如说你有你你需要多少个点,多少这个correspondence pair来specify一个这个这个region transform,大家知道吗,嗯。
这个2D需要多少个vision correspondence,我们来specify一个region transform,嗯,两个对吧,很好,两个就可以啊,两个就可以三维呢,嗯,三维的话就需要三个啊。
三个对吧,然后如果比如说如果你有additional constraint对吧,distance preserving这些东西对吧,就是你你找了三个correspondence,同时你还要满足什么。
你这个distance要preserve对吧,如果distance preserve你就知道这肯定不能得到一个什么,得到一个region transform对吧,这些东西这都是三维里面特有的东西对吧。
还有一些stability的问题,对吧,你比如说早期我不知道大家见没见过,我以前的时候我是用比较多的一个叫geometric对吧,然后我在这边点三个点,在那边点三个点。
然后我就能得到一个region transform对吧,嗯,哎,对,然后这个算法我跟大家讲一下啊,就是比如说你的sample each object对吧,sample 3 2 pairs。
check distance constraint对吧,就然后你就feed一个region transform,用homematch的一个算法对吧。
然后你check how many point pair agree对吧,if above threshold terminate,otherwise goes to step 1对吧,嗯。
或者这样子的这样子来的对吧,啊,对吧,如果他对啊,然后你看看他有多少对吧,这个时候他实际上这样的话就不那个什么对吧,然后这样的话你就看他就是很好对吧,这样就不行对吧,哎。
就是这是2d的一个illustration啊,非常简单,这个算法非常简单啊,非常简单,嗯,然后,然后我简单讲一下这个算法呢,就是,但用了很多了,对吧,这样他就是第一他就也就是说,嗯。
那个如果怎么做sampling实际上是extract feature point对吧,这个东西我们刚才讲了,对吧。
然后correspondence就是use feature correspondence对吧,啊,如果你有每个service你有n个,点呢,然后你的那个candidate correspondence。
goes他就远远小于on平方对吧,对吧,然后他的那个successor rate呢,如果p是这个inline ratio,就是candidate correspondence ratio呢。
successor rate就是这个东西对吧,就是说,呃,比如说你你如果你这个,successor rate对吧,他是p对吧。
那你那你如果是randomly sample三个correspondence,他的那个这个value的这个这个这个triplet的个数,是这个probability是多少呢,他实际上是p的30万对吧。
这每个点都要对对吧,然后呢你你sample n trials对吧,n trials,对吧,然后如果就有一个是对的,他的概率是多少呢,实际上是1-1-p的30万的n次方对吧,就是说。
1-p的30万的n次方这个东西是怎么是每一个都错对吧,每一个都错,每一个都第一个错的概率是1-p的30万对吧,呃,每一个都错的概率就是1-p的30万的n次方对吧,那中间有一个对的概率就是1-这个东西。
嗯,对吧,哎,也就是说你如果p比较大的时候对吧,你这个或者说p比较小的时候对吧,这个时候你就可以通过什么通过多sample这个triplet来改变这个概率对吧,这个分析啊。
我跟你讲这个分析就是软在那篇文章啊,呃,提出来的啊,这个东西的话,如果你你学这个计算机视觉啊,按道理来说,其实现在一般开课,我不知道国内怎么样,国外的话一般会有两门课,一门课是计算机视觉啊。
计算机视觉基本上是不讲different,还一门课是深度学习啊,这门课的话的话就会讲different,好,然后呢,这是一个最最最最最最最最嗯,这基本的run back对吧,那比如说那3d的问题的话。
我们可以有很多variant啊,这个其实在2d也有对吧,比如说你可以用这个d可以可以啊,如果每个点他有normal的话,对吧,基本上现在所有的扫描仪对吧。
你都多多少少你可以得到一个还不错的normal对吧,你可以做一个local fitting对不对啊,这个扫描的用这个viewing direction可以决定这个normal的方向,对吧。
还有这个时候呢,你就可以我们不需要三个点,那我们只需要两个点对不对啊,就是说你可以啊,这边找两个点,那边找两个点对吧,我可以用normal和这个点我们来估计这个rotation translation。
对吧,对他的这个时候呢,他的这个success rate就是1-1-p平方的n值,对吧,这个success rate,OK对吧,比如说如果有些有些算法呢,甚至可以达到这个1-1-p对吧。
一个点如果我们用curvature对吧,principle direction的时候,对吧,可以更有效的那个把这个这个这个这个这个这个算法的这个这个补答都给降下来,好。
然后我再讲讲这个half transform对吧,for non fitting实际上他是什么概念,就是说实际上我们可以用这个思想呢,去去也是可以去做这个啊,做这个global matching啊。
我待会会讲一下啊,这个大家可能都知道了,对吧,实际上就比如说你有个image对吧,我要找line对不对啊,我们这也是个simplified problem,对吧,但是这个idea我们可以用来做这个呃。
global matching啊,for registration,OK就是比如说你在image里面找个line,那你怎么做呢,对吧。
就是how transform is the voting technique,对吧,就是说我怎么做呢,就是,对吧,就是我在image里面三破两个点对吧,然后得到一个line对吧,然后呢。
我就会在那个比如说你有两个点,对吧,voting就是找两个点对吧,这边就得到了一个line对吧,我可以不断的找点,这边得到不同的这种东西对吧,其实比如说你,你有一堆点对吧,你两个点之间。
你可以比如说你可以vote一个这个line的parameter对不对,然后呢,就是说真正的一个line呢会被很多的这个pairs给vote掉,哎。
这个时候我们就可以把这个line这个line的parameter给vote出来,对吧,对吧,这个地方就会有一个cluster,对吧,嗯,这个idea呢,呃,其实呃很简单,对吧。
那vision matching怎么做呢,实际上我就说我找两个点对吧,找两个点,如果他满足条件呢,我就在右边的cast一个vote,就有一个sample对吧。
这是一个visual transform对吧,然后可以不断的找点对吧,我可以不断的把这个什么把这个vote把把这个东西出来对吧,哎,然后会出现什么呢,就是说你看这个东西呢,这这在3d比如说。
这是一个special case of global matching,就比如说你要detect symmetry对吧,就是一个symmetry transform对吧,然后你就sample很多点。
那然后用点来那cast一个vote对不对,实际上这个vote呢,你会发现什么,就是说,哎,这也是一篇很有名的文章啊,就是说,嗯,这个这个这个这个,这个。
真正transformation他被会被很多这种point pair给vote掉啊,被很多point pair给vote掉啊,然后那个比较不不那么same的structure。
他都被一些少的点给vote掉啊,那是一种这种事情,哎,哎,还是这种思想啊,就是说你可以呃你可以通过vote对不对,啊,就是说呃不same的structure,他他得到的vote就相对来说比较少对吧。
那怎么得到这些cast cluster,你可以用meanshift cluster对吧,你可以用meanshift cluster啊来得到这些cluster,ok,这是第二种approach。
我一大就过了啊,这是一种voting based啊,voting based,voting based的相对来说,呃,呃他跟run deck还是比较关联性比较强的吧,啊。
这种东西相对来说他不是一个真正意义上的这种啊,代数的方法,比如说你你现在的话如果不是代数的办法,你要把它啊跟deep learning的东西结合在一起去去学,这就比较难了。
还有一种就是structure approach,对吧,structure approach就是说实际上是说什么呢,就是说我通过我把这个distance preservation。
我把这个rigidity啊把它变成这个,呃distance preservation,就是说,如果如果我这边找一些点,在那边找一点点,他的这个两两的这个距离这个distance,他是吗。
他是他的保保持的话,呃,那,就存在一个visual transformation,或者这个vision transformation,他的这个或者就是03对吧。
这种transformation使得他们之间这个,呃使得他们之间的这个东西,他是呃他是保持的,好吧,就是所以所以就是说什么呢。
我可以把global matching的问题把它变成一个correspondence的问题,对吧,我就找correspondence保持一点啊,哎,那这个时候呢,呃有一个比较有名的工作对吧。
我可以怎么办呢,我就我我我把它转换成一个correspondence的问题,对吧,那我这个时候呢,我就可以build一个什么呢,一个这种叫consistence matrix啊。
啊我强调一点什么是correspondence,如果你们现在搞混的话,correspondence就是首先你注意我们首先在每个scan上面,我们detect了一些feature point,对不对,呃。
嗯,嗯,嗯,嗯,好,我讲讲这个special approach啊,就说special approach实际上就是这样的,就说,首先它是一个模式能力的算法,对吧,我在这个每个surface上面。
我sample了一些点啊,sample了一些点,对吧,然后呢,我通过它的feature descriptor,对吧,就是我可以build一些correspondence,对吧。
然后然后我们的task是这样的,就是,有些correspondence是好的,对吧,有些correspondence是不好的啊,我们想把这个好的找出来啊,比如说correspondence是好的,对吧。
有些correspondence是不好的啊,我们想把这个好的找出来啊,比如说呃,对对吧,135这是好的,对吧,比如说2和4它是不好的,我们想把这个135给找出来,把2和4给扔掉,对吧。
这是我们想做的这个事情,好吧,那这个时候怎么办呢,我们就build一个这个consistency,对吧,就是它的dimension呢,就是5乘5,对吧,就是说你有多少correspondence。
它的dimension就是多少,好吧,然后呢,每个entry呢,就是决定了你对应的这两个correspondence,它是不是consistency,对吧,consistency是怎么说。
就是说比如说它是不是保距,对吧,这两个这两个correspondence的距离,它是不是保持对吧,是不是保距,对不对,哎保距呢,你就在这个地方填1对不对,不保距呢,你就填0对吧,啊。
那这个时候你发现135它互相之间都是保距的,那2和4它也保距,怎么这个时候你会发现什么,啊这个东西实际上就是说我需要把这个保距的,这个呃,the correspondence对应的这个什么。
对应的这个sub matrix给找出来,对吧,啊那么2和4呢,当然它也是一个sub matrix,但它没有这个135这个strong对不对,对这是我的,我我想我想我我们想做这个事情,然后呢。
这个东西呢可以怎么来找呢,其实这个东西就跟这个special matching这个东西很有关系,对吧,实际上他想我们想做的是什么呢,实际上我们想做的就是extract一个clip,对吧。
extract这个clip就是这个完全图对吧,完全图就是所有的这个enemy都是1对吧,这个啊这是一个sub matrix对吧,对吧,你如果permute了一下,实际上你会得到一个这样的东西,对吧。
如果是这种情况你会发现什么呢,就是这个这个135这个block对吧,它实际上对应的是什么,是整个matrix的一个leading eigenvector,哎。
这对应的是是一个整整个整个这个matrix一个呃,这他的一个leading eigenvector对吧,leading eigenvector,而这下面这个当然他说对应另外一个外公外公。
但是一个value没有这个大对吧,你就可以从我们可以通过什么,就是通过这个呃这个matrix对吧,找这个leading eigenvector。
然后呢通过这个leading eigenvector这个element,的那个对吧,的大小对吧,我们可以把这个东西找出来啊,这个叫做这个叫做special technique,对吧。
我我简单的把这个algorithm,呃,给大家讲一下对吧,就是说,呃,我们首先form一个这个consistent matrix对吧,呃,matrix c对吧。
three dimensions number of correspondences,change number of correspondences对吧。
然后我们compute the maximum eigenvector对吧,对吧,然后通过这个eigenvector呢,我们把这个把这个就是basic magnitude of v对吧。
我们可以把这个呃,我们可以通过这个东西呢,呃,iterate iteratively对吧,把这个把这个lead给extract出来,对吧,就是实际过程中,他不可能呃。
因为你这个consistent matrix,他不可能完全这个separation对吧,这个时候我们就可以通过这个iterate的办法,对吧,grid的办法对吧。
就是说我们我们可以把这个correspondence对吧,通过v来sort一把,啊,通过v来sort一把对吧,然后,然后呢。
我们可以不断的往这个cluster里面加入vortex的这个magnitude对吧,然后来check这个是不是有这种consistency的constraint存在对吧。
最后我们可以得到一个vision matrix对吧,啊,啊,这里有反应,就是说有技术的不用听,啊,没技术听不懂啊,我,嗯,而这个是这样啊,就是说。
如果大家对这个软desk或者hub呃hub transform这个东西不是很熟的话,嗯,我建议我的建议是啊,就是说你可以可以可以可以可以可以去网上搜一下这两个aggregate,就是,嗯,啊。
我这里没有时间再回过头来跟大家再补了,你们如果确实,呃,有问题的话,您要不发信给我,好吧,我可以回答啊,就是说,嗯,软desk的思想就是,我简单讲一下软desk的思想就是它也是一种voting对不对。
就是说,嗯,比如说你你的correspondence你的correspondence有好的有坏的对吧,但是,我三不断的sample我总存在一个sample使得我都sample的都是好对不对。
这个时候我就能得到那个correct的那种post对不对,这是软desk的思想啊,就是,啊,hub transform的就是说我不断的sample对不对,我不断的sample,嗯。
好的这个这个这个这个这个correspondence啊,就是就是或者就是说你比如说你有个subset of correspondences对吧,你能你能被一个register transform给θ。
那他就会不断的被sample到对吧,哎,他就是一个这样的思想啊,其实都是非常非常简单的,非常非常简单的,非常非常简单,ok,对吧,然后呢,呃,我们也可以什么呢。
我们可以把这个把这个东西的结合在一起啊结合在一起对吧,比如说其实说就是3d里面呢,比如说如果有两个correspondence啊,我们有很多这种尤其是有哪几种呢,consistency呢。
比如说我们他的descriptor要要consistent对吧,然后然后呢,这个地方比如说你这个distance要保保保持对吧,你的这个这个这个angle要preserve对不对。
angle要preserve对吧,angle要preserve对吧,distance要保持angle要preserve啊,然后呢,比如说我们sample了两个correspondence呢。
我们可以用这些constraint呢,去把这个什么去把这个呃,嗯,去决定对吧,我们是不是这两个correspondence能feed出来一个register transform对吧,嗯,我想强调一点呢。
这个地方呢,还是要讲一下,就是说,如果大家平时做这个就是现在特别现在d不能这么火吗,就是说啊,但是还还是有点就是这么几何的这种constraint啊几何的这种constraint啊是永远有用的啊。
它是不完全是这个future correspondence给给给人解决的啊,就是呃,这个东西大家要注意啊,然后我简单的讲一下这个hybrid method,对吧,hybrid method是怎么做呢。
我可以呃可以解个优化对吧,我可以把刚才我说的这个be weighted non-linearly square对吧,大家如果还记得的话,就是说我们用一个robust norm对不对。
去inforce这个rigidity constraint,然后我们有一个special method的办法呢,对吧,就是可以你可以把这个啊,可以把它解对吧。
你可以解这个每个那个嗯这个correspondence的indicator对吧,然后我们有个consistent score对吧,我们可以把这两种东西合在一起对吧,合在一起去解就是加在一起。
对我们去做这个special matching也做这种be weighted least square对不对,呃这有个correspondence。
我们可以用alternate method的办法去解这个问题啊解这个问题,嗯,这个地方就有点跳啊,有点跳,实际上就是说什么呢,就是说呃如果大家对大家做research有什么启发呢,就是说,嗯。
就是说如果如果如果如果有不同的办法对吧,我们可以通过design这个objective function,对吧,design这个objective function。
啊我们来把它把它把这个东西合在一起啊啊合在一起去做去去解优化对吧,啊我们我们刚才讲了,呃讲了这个be weighted least square,就是robust regression对吧。
如果大家有印象的就是mean和median那个地方对吧,然后我们讲了这个voting base的就是run back跟这个half transform这两种东西对吧。
呃我们讲了这个special matching对吧,所以special matching实际上是求那个最大的iconvector,ok最大的iconvector,ok,嗯,ok。
然后我们可以把比如说这个地方我们可以把这个special matching跟这种be weighted least square把它合在一起啊,啊,我可以简单跟大家讲一下吧,比如说,嗯。
这个地方就是说呃,我们要找这个sc呃就是这两个是indicator嘛,indicator对吧,然后这个地方呢。
实际上是说呃你我们同时也优化一个rotation translation使得这个reduce特别小,对吧,好,然后我们就可以通过这种alternative minimization来解。
然后这个地方我可以跟就是简单的跟大家看一下对吧,比如说这是这是我们的type是这是有一个source这种skin对吧,这个有一个target这种skin对吧,我们有就是光的shoes对吧。
然后这是special matching对吧,的结果啊,难点就是这个地方你发现了吗,他们的这个overlapping微小是比较小的,对,然后对吧。
你就是光的shoes special matching对吧,然后be weighted non-least square对吧,然后你把它合在一起啊。
就是说能能能能能把这两种算法的和呃这种呃优势的结合在一起啊,其实我刚才想讲讲的这些东西说说说白了都是都是解决一个问题,就是说你有一些feature correspondence对不对。
有好的也有坏的对吧,然后你怎么我们想把就是说我们想找一个subset对吧,他能够一个visual transform去fit,对吧,我们讲了几种方法,我们讲了软代对吧。
讲了how transform对吧,讲了这个special matching对吧,前面做restriction的时候我们讲了一个be weighted least square的算法对吧,啊。
这是几种不同的东西对吧,他们的核心思想都是怎么样,都是怎么把这个vgd这个constraint对吧,把它用不同的方法去enforce对吧,来来来做这个事情,好,有什么疑问吗,大家就是软代法啊。
那个软代这个东西啊,还有how transform啊,其实非常简单非常简单啊,非常简单分析稍微难一点分析稍微难一点啊,然后,呃大家可以看一下大家可以看一下,对。
啊我我这这个地方我还是想塞入更多的东西在这啊,是global的方法啊,global方法,但还是尽量的多讲一点东西,对吧,嗯,有了这个,实际上会在网上大家平时你要是,你有一点印象的话。
具体这个detail你可以去可以去啊,翻一下啊,我也可以,呃,把一些东西给漏掉,那么把一些东西然后讲这个具体的东西啊,讲具体的东西啊,嗯,registration呢,这个globalmeshing呢。
嗯,呃,registration这个东西核心的东西还是ICP啊,就是你听完这这这节课,你要你你不管你以前见没接触过ICP,那个东西你是要掌握的,啊,别的东西我觉得相对来说它都是一些呃一些提高的东西啊。
提高的东西,嗯,好,然后我再简单的讲一讲这个learning based method,给learning based method,软件的话,它是一个传统的啊,这个地方我讲软件它是一个传统的,啊。
就是说,你把里面的阴啊,对不对,好的和坏的给区分出来的一个算法,对吧,它可以解决它是一个实际上只是它的一个应用啊,只是它的一个应用,那为什么它是应用呢。
我刚才讲了就是它有的correspondence是好的,有的correspondence是坏的,对吧,我们要把这两个东西给给给区分出来,啊,区分出来,啊,Hot transform也是对吧。
你把好的跟坏的给区分出来,对吧,对吧,好的就world比较多嘛,对吧,啊,嗯,好的,我再讲讲讲这个能力贝斯的message来解决global matching对吧,现在机器学习时代对吧。
对这是一篇呃我推推荐大家读一读对吧,这是MIT的一篇文章啊,非常简单啊,呃实际上这里面体现了,几种思想吧,一个是transformer对吧。
transformer现在就是比如说你要两个point cloud对吧,哎,这个时候呢实际上他会怎么怎么做呢,首先execute这个feature对吧,然后他就会把这个什么会把这两个scan,好。
最后我还占用10分钟的时间,我简单讲讲这个multiple的method,对啊,刚才这个global matching,ok,然后回答几个问题啊,假如这个overlap足够传统会跟我boss的吗,不会。
呃其实就是,嗯因为completion只是给了更多的feature对吧,给了更多的feature,就是统计上来说啊这个learning的方法,能力的话。
我如果找correspondence传统你你complete以后对吧,你就在那个complete surface上面找correspondence对吧,用用那个我们前面讲过的方法啊,呃。
能力的办法我们在统计上啊发现他一直是比传统的方法要好的啊,即使是50%以上的overlap啊,那个最大的提升是在10%到50%这个比例啊,嗯,为什么为什么是这样呢。
就是因为这个completion只是给了更多的feature对吧,他并没有把传统的那个就是原来surface的feature给扔掉对吧。
啊他说是completion实际实际上他就提供了更多的呃surface更多的feature对吧,好,然后我再简简单讲讲这个,completion是什么意思呢。
就是说你你你给定一个一个一个呃一个vision,比如说你扫描了一些点,对吧,我问你没扫描那些地方在哪里,对吧,这就是completion这个test,或者就比如说你看到了,比如说这个桌子你看到了一半。
对吧,你能不能推断那个没看到那部分的桌子长什么样子对吧,哎,这就是completion,嗯,好吧,还有还有别的问题吗,嗯,然后我就讲这个multiple method。
ok multiple method啊,其实multiple method他无非就是把这个实际上他也是如果从优化的角度来说,他跟这个pairwise没有特别,呃从一个方面来讲,他没有特别大的区别。
实际上就是我们要icp是optimize一个scan的这个pose对吧,那如果有多个scan呢,我就优化多个scan的这种pose对吧,那那怎么办呢,我就说我就实际上是minimize。
比如说all pairs of这个scan之间的这个距离对吧,completion的话,他是一个learning啊,就是你如果需要知道原始模型不需要啊,你是学出来的啊。
他是一个learning base,就是机器学出来的,就是说我总是学,比如说你比如说人为什么能做completion对吧,因为我们看到了很多很多,这种complete object对吧。
就是completion这个东西很有意思在哪,就是说,你总是从partial去info这种complete对吧,对吧,ok,对吧,它实际上是一个学习的过程对吧。
当我们看多了这个partial跟complete的这种对应关系以后,你看到一个新的partial对吧,你也可以info新的那种那种那种那种那种那种他的对吧,info那种没有看到过的这种东西吧。
你可以做一些info,ok,so join pairwise registration对吧,我可以either iteration 1,就1 2对吧,我们可以不断的这种迭代啊,这个这个东西呢。
实际上我就不讲啊,这个东西它实际上就是说,我需要optimize这个process对吧,你可以把那个pairwise的那个energy啊,对吧,这个地方就这样。
你就是说你可以把这个pairwise的这个energy啊,把它引入进来对吧,就是说我minimize all pairs对吧,如果只有两个scan呢,它就退化成那个icp对吧,多个scan呢。
他就是minimize这个all pairs对吧,然后这个distance呢还是point to plane distance对吧,嗯,他其实从优化的角度来说完全一样对吧,就是用高速流动的方法。
你也可以用那种方法对吧,如果你理解了pairwise怎么做啊,那推广到这种join的这种setting,它是很容易的啊,它是很容易的啊,ok,嗯,ok对吧,这个地方我就不讲啊,我就不讲了,对吧。
他还是你还是写一个高速牛顿对吧,他的variable就是啊,除了一个scan,他是不动对吧,你必须固定一个scan嘛。
不然整个scan你可以一起用一个那个reach transformation来运动对吧,然后我们可以优化所有的这个就是剩下的scan的pose对吧。
那minimize这个pairwise distance距离对吧,对吧,对吧,然后有些application对吧,这个东西呢,这个东西呢啊,不仅仅是做重建啊,multiple scan对吧。
其实很多时候比如说如果你对slime感兴趣的话,对吧,如果我们扫那个那个robot不但扫描这个场景中点云对吧。
我们可以可以通过这个align这些场景中的东西来得到这个来得到这个这个scan来得到这个那个robot的pose啊,嗯,好,最后呢,呃,但他有很多limitations了。
就比如说如果你这个scan的pose足够多的话,对吧,他会有一个他会有一个一个比较expensive对吧。
如果你就是你会有potentially a quadratic number of scans对吧,然后如果几优化会有一个convergence的问题啊,好,嗯,好,最后我讲一个非常简单的算法啊。
这个东西大家其实知道的不多,但是呢,实际上他是呃运用的运用的比较多的啊,因为就是说他比较比较比较比较非常简单一个算法啊,就是说其实是就是说你可以把这个什么registration跟这个。
比如说重建这个重建呢,我没讲啊,但是呃我们叫重建吧,实际上你可以说是就是说啊,我们可以怎么这么怎么来做呢,就比如说你有一些比如说你有一些rocket alliance,这些scan很多很多对吧。
这个时候我会怎么做呢,我可以比如说我可以找一个nation的surface,也是一个point cloud,对吧,我我去feat这些scan对吧,feat这些scan以后呢,那这个scan呢。
你就不用做panewise的这种呃注册了,registration对吧,你可以把这些scan呢都跟这个nation的surface去做这个registration对吧。
哎这个东西你一个iterate对吧,然后你再再然后你可以increase这个resolution,你可以iterate对吧,最后你就得到了一个呃得到一个final reconstruction。
然后这些scans呢也有在一起啊,啊这样子,好哎这是一个算法啊,然后这个nation surface provision呢实际上它怎么做呢。
feat planes to point of surfaces with each cell对吧,它实际上是一个呃是是是是一个surface fitting的问题,对吧,就是说你给定了一些点对吧。
这些点呢我这么讲吧,他就是说他可能是什么呢,他可能是这个点是第一个scan的,另外一个点是第二个scan的对吧,他真的在空间中呢组成一个点云对吧,这个时候呢。
我可以把这个什么把整个的用一个这种off tree啊,或者什么规则呢,我把它拍成很多cell对吧,然后我,然后我在每一个cell里面呢feat一个plane对吧,或者feat多个plane对吧。
如果他的normal是不同方向的话,我可以feat多个plane,这个idea是什么呢,就是说我把所有的点对吧,就在这个cell里面点,我都跟一个plane去做alignment。
就是minimize to一个的plane的这个距离对吧,feat这个plane,这个实际时候呢,我虽然是feat一个plane,实际上呢,我也把这个点在不同surface这个地方。
他也做了一些alignment对吧,就是一种implicit alignment对吧,ok,哎这个算法其实就非常简单对吧,就比如说我这里有个例子对吧,就是我首先有有这些scan。
我feat一个latent surface对吧,然后呢,然后我再把这个scan去跟他们去做alignment对吧,啊,非常简单啊,这个算法的好处是什么呢,你不需要determine。
比如说overlapping对不对,他是通过这个spatial的这种data structure去automatically去去去决定哪些东西是是应该匹配的对吧,对吧。
然后这个东西实际上就是他他他the,alternating算法,feat the scan to optimize the latent surface。
那feat the latent surface to optimize the scan process对吧,他就做这种alternating的这种呃这种这种minimization对吧。
啊好处就是你看啊,有有很多好处,第一我不需要determine哪些scan做overlapping的对吧,automatically解决了对吧,他是说把所有的这个scan呃点云对吧。
我把他allocate到不同的cell里面,然后做registration对吧,第二呢就是说这个scan和这个surface alignment,他是linear的对吧。
就是一个scan和那种surface不同的去做align对吧,他们中之中间之间是不存在的对吧,哎,some intense registration reconstruction。
然后我给你简单的再给大家show一些结果对吧,你比如说这是一个小的case对吧,你不需要对吧,比如说你你这对这种点云的表示的我们不需要他underline的这个object。
他是一个complete surface对吧,比如说你这上面是这个scan对吧,你首先create的这个later surface对不对,然后你再再有你再再align对吧。
你最后你看就是说这个surface这所有的点云align在一起了,然后这个surface也更加articulate对吧,啊这个算法相对来说,嗯,其实有两步对吧,如果如果如果这个surface决定好的话。
实际上是每个scan和这个surface做ICT对吧,哎,那个surface fitting就是在每个cell里面做一个fit一个plane对吧啊,fit一个plane,嗯,ok,啊。
然后就说他比较efficient对吧,嗯,然后可以给一个简单的给大家看一些结果对吧,简单给大家看一些结果,嗯,对吧,就是说他非常multiscale对吧。
然后你可以可以可以去moderate这个这个这个later surface是怎么做的对吧,怎么重建的对吧,啊,来来决定来来那个来来决定这个,嗯,嗯。
这个这个这个怎么做reconstruction和registration对吧,但我可以做not just go reconstruction,好,最后我再讲一下就是topic,呃。
that are not covered对吧,就是第一个我没讲non-rigid registration对吧,我们最后一阶段会有一个guest section,嗯,嗯,不知道谁啊。
我会找一个人专门来讲这个东西啊,嗯,最近做这个dynamic reconstruction很火的,然后呢,ICT呢呃,当然是dominant就是工业界用的比较多的算法ICT啊,嗯,还有一类方法呢。
实际上是通过这种probabilistic modeling对吧,就是Gauss mixture model啊,嗯,这些东西对吧,这个比如说在医疗图像里面啊,最近这个反正国内也有一些。
我看国内我也读过国内一些文章啊,呃,人做的呃研究员做的这这种文章啊,你通过这种做probabilistic modeling啊,啊。
实际上就是把把scan把他看的probabilistic distribution对吧,你通过align这个distribution来做注册啊,啊,这里一类方法特别在医疗图像里面用的也比较多,我没讲啊。
然后呢,还有一些nulling based method,在后面我再会会讲啊,最近出还是出了一些特别是在典型啊,这上面这个做deep learning的人做这么多啊,啊,还是出了一些别的方法。
这个我也没讲啊,最后的话,我讲point cloud representation的时候啊,希望能能讲这个东西,然后呢,这有个save对吧,啊,就是我觉得个个人觉得写的还是不错的啊,大家可以读一读好吧。
好,那今天你们还有什么问题,好吧,我们可以问一下,不然的话,今天我们就到这好吧,嗯,就是这个东西特别多,我还是讲基本上把就是说这十几十年吧,就是十几年几十年这个比较重要的东西,我给大家都勾了一下啊,嗯。
有些东西不会讲的特别细啊,那我刚才我看有那个评语说知道了,听着不用听啊,不懂的听过对那个地方的的确是这样啊,那个啊,这个软件和和这个hub transform,它是传统vision的东西啊。
传统vision的东西啊,在这个地方,它是用一下用一下,好吧,那还大家还有什么问题,我可以回答一下,不然的话,我们就下周再见好吧,slime用什么方法做restriction。
slime它是一个完全不同的问题啊,就是restriction可以帮助你来做slime对吧,比如说graph slime对吧,就是说它是它是它是它是能它是能帮助大家来做slime,有个东西叫graph。
就graph slime,这是一个,嗯,简单来说吧,就比如说你一个robot,你扫了不同很多skin对吧,比如说我回过头来,你看这个东西对吧,这个红的就是这个robot这个trajectory。
看现在看这个东西对吧,我是通过align它扫描得到的点云,我来怎么样,我能能重建出这个单位的这个roadmap,同时我也得到一个pose对吧,它是一种做slime的方法,相对来说比较精确啊。
你像这种无人驾驶汽车,你包括google早期的那些这种东西对吧,这个这个工作是我我以前在google research,google earth做的,google street view做的啊。
他他能帮我们解读解决这个slime的方法问题啊,就是你两个两个两个两个两个那个skin,你做research,你就能得到他们的relative pose对吧。
你把这个relative pose给integrate在一起,对吧,你解决了这个注册的问题对吧,你就能解决,你就能得到pose,好吧,好那要不今天我们就到这好吧,你们有什么问题。
你可以给我发email好吧,好,那就这样,(安裝安裝過程中),(安裝安裝過程中)。
那用包里的时候,再見。
GAMES203: 三维重建和理解 - P3:Lecture 3 Surface Reconstruction - GAMES-Webinar - BV1pw411d7aS
这个这周的课又开始了啊,我更新了下首页啊,这个slide你们应该是可以在我的那个那个那个主播上可以吓到了啊,然后我还更新了,就是啊你们有些那个给我发了email,直接进了我的那个垃圾邮件箱啊。
所以我就没法看到,然后啊我今天才发现,然后我更新了一些那个就是有的人有的学生问这个是哪些boss code,那些for the package,我们可以可以拿拿过来做devopment对吧。
我更新了一些link啊,你们可以看到好吧,然后呃今天的课呢嗯相对来说,因为这事情不用我说,你这次应该提高课好吧,就因为是提高课的话呢,所以就嗯相对来说这个呃你们能听到我吗,没有有学生在这吗,现在。
还好ok就是因为这是提高课,所以我我就不可能对吧,呃讲所有的都是细节对吧,我其实说白了就是我会讲一些文章,今天呃呃基本上勾勒出surface reconstruction啊。
其实这个field大部分的工作啊是,从90年代到00年以前啊,啊我今天会讲一些啊,但是呢你会发现,然后12年开始,其实说白了就是deep learning嘛对吧,呃其实大家可以可以发现一个特点啊。
就说你们现在看deep learning的文章,你等我听完我这节课以后,你会发现其实所有的东西以前都出现过啊,就是现在就是一般的学生进来以后呢,他也没有没有一门课,没有一个一本书对吧,就专门讲这些东西。
就想以前的工作呃,导致呢就是说很多东西大家都不知道的啊,我希望就是讲这个东西给大家讲一讲这个这方面的东西好吧,然后那个然后就开始啊,就是就是实际上我们上一节课讲了这个注册是注册。
实际上就是你得到了一个point cd对吧,这个point card上面点呢可以是不同的key对吧,但是你把它拼在一起了对吧,那就得到了一个在左边的这个这个shift,这样对吧。
然后然后你出来你想得到一个three model对吧,什么是这个model呢,就比如说它是比如说他是water time,或者就是比如说最好是个match对吧,那这个东西怎么做呢对吧。
首先这个问题啊它是一个非常非常fundamental problem,也没有完全解决啊,也没有完全解决啊,但是现在的研究呢啊特别我觉得就是说啊就是说在这个level啊,就是说有很多工作可以从啊,可以做。
从deep learning重新把它做一道啊,我觉得很多东西啊是用地图,你是很有价值的啊,就是对这方面的工作,目前大家刚刚开始嘛。
最近看到有一天用deep learning说就说march去补macht 5会讲到对吧啊,今天的东西很多啊,我有些东西可能就简单的跳跳跃一下啊,有我觉得就是说如果你想做研究啊。
就是说呃所以基本上这个这个这个问题我觉得他是很有潜力的,很有潜力的啊,你像那个vision里面他做的那种three of fa,那不叫reconstruction对吧。
但还是一种three and standing对吧,stand他的mc你真的做reconstruction,你这个重建出来的model是可以直接来用的对吧,你可以说比如说作词就repling对吧。
比如说你扫描了一个人体的器官对吧,嗯然后你要想想或者扫描牙齿对吧,你想把牙齿怎么什么时候拼啊,动一下对吧,对这方面的这方面的东西对吧,就是这才叫重重建,就是为a里面比如说single view对吧。
这种重建的话说白了就,ok就是说如果你是single view对吧,一个一个view的话做重建的话,那我觉得就是说呃这个问题很难对吧,这个问题很难啊,嗯我想说的就是这个你们要做做研究啊。
嗯我个人感觉啊这这个topic是很有价值的啊,现在还没有做起来啊,他有很多很多学术的价值啊,我后面会讲一些啊,后面到了这这这门课快,最后我讲,那现在我主要讲一些基础的东西啊,那这个方法呢大概有两种。
一个是就是这种increasing base的方法,就是这是我现在现在现在主流了对吧,主流还有一种方法呢就是explicit,或者扔掉一些点对吧,或者把把这些点连起来是吧。
所以这呃呃这这里有个叫做computational trash base的对吧,这些这些方法呢理论上很好,实际上呢主要的challenge我们会讲到啊,主要的challenge你会看到的啊。
各种各样的challenge啊,就是这个东西呃,怎么说呢,说白了就是给你一个呃,给你一个,比如说你像competition只要求背诵的方法呢啊,呃它是由spratio管理器。
就是说当你的input的足够好的时候,我一定能重建对吧,比如说硬币足够好,就是noise比较少,然后呢那个弯的地方你3号的点比较多对吧,就一定能重建啊,这有一系列的工作,像你lina ma这个这个。
等等人吧,呃做过很多很多非常杰出的贡献啊,然后嗯,这是这一块,但是呢这些方法呢他relatively它相对来说比较慢对吧,但是你noib高对吧,你这些方法我就不work了,noise level一高呢。
相对来说这种in pression base的方法呢,他work的稍微好一点,但是也pocruntech work对吧,就是说但是呢就是说它更efficient对吧,更efficient对吧。
它它的缺点跟这个explicit,像这种competition grp的方法来比呢,就是他没有什么gantic grantee对吧,就是说你不知道他能不能work,其实你的input的非常好的时候对吧。
也没法去证明,但是in pro你呢他他做过的work的比较好对吧,像比如说现在大家用的最多的就是包装surface reconstruction,对啊,我也会讲到啊。
好那今天呢我主要会讲这个increasing base的方法啊,你说你们稍微等一下啊。
稍微等一下,我得我得换个smart啊,我这个麦好像有点有点不对啊,稍微等一下,稍微等一下啊,我得我得我得我得下一下我的slides。
这个slides好像不对啊。
啊我把这个东西呃stop一下stop一下。
然后我,我待会再再再再看一下啊。
啊我刚才那个那个那个那个我的那个课件好像就是打开一个错的啊,一个income,我今天主要会讲一些implicit的这种东西,因为这是主流嘛对吧,我会讲很多文章啊,有些东西里面有些我会一带而过。
有些会重点讲啊,就是其实我感觉大部分文章你们可能没听说过啊,呃或者一部分没听说过吧,但是我觉得是很重要的啊,对就是第一篇文章,如果你们我们说这个radio reconstruction对吧。
第一篇文章就是就是这篇文章叫做surface reconstruction from our organized point对吧,这是一篇怎么说呢。
你也不能说他是第一天做three dimon struction呢,这篇文章很有影响力对吧,第一他就是说把这个implicit的这种base record shelter的方法呢。
它是一个complete system对吧,complete system其实后面还是或者就是说他建立了一个体系结构啊,建立了一个体系结构对吧,然后后面的文章呢大部分是在这个基础上呢,呃你不能说改进吧。
有些有些改变是非常transformative的,就是非常有影响力的对吧啊,就是说你如果读这个重建,你应该从这边往上读机啊,就是特别是想你如果想做做做做做必能赢的话对吧。
那那那我觉得这篇文章是应该读的啊,就是嗯嗯好,然后我再说一下这个重建的,我们基本上是要求这个input的基本上面对吧,就是你的point基本上把把所有的那个object都cover住了对吧。
如果是parti partial的这种东西的话,在我们后面会讲到这种data driven对吧,那个时候你就真的要上一些learning的bug对吧,你要引入这个twice对吧。
好然后max的p就是input的是cloud of points对吧,就是就是一些点是吧,我们不需要orientation,后面的很多方法,也包括包括pcr需要与orientation对吧。
但是这个方法呢它能把它能重建出这个这个点的orignormal对吧,output呢它是一个全match对吧,the possibility with boundary edges对吧。
然后他grantee就是它是一个manifold,我没讲什么是manifold啊,就是说你就是说怎么说呢,就是说你有一个match对吧啊,然后每个每每个match到每个月就收了。
帮助里的他都是填了两个贝斯这样子啊。
ok然后这个方法怎么来的呢。
实际上它是分为很有一个非常重要的concept,就是说prey surface啊,就是它是通过重建一个increased surface啊。
我们后面也会讲你please位到那个时候我们就会讲一下operation,这个地方我们主要是讲怎么你得到你重现属于surface啊,该不会讲到的,bob is啊,什么是lish surface呢。
对这个问题很有意思对吧,就是最简单的impolicy service是什么,你们我问一下看看谁知道呢,谁能给我举个例子,怎么be最简单的,有谁有谁知道最简单implicit surface 3维的。
啊有谁知道吗,好吧,求是最简单的,我想我想要的答案就是球啊,哎平方加y平方加b平方减1=0啊,这是这是最简单的一件事,啊这是最简单的implicit surface啊。
好然后什么是int service,就是你要做fashion对吧,首先你把空间中每个点你都对应一个词,但是你希望这个fashion连续了对吧,play的话也可以说吧,也可以说自己对收费嗯。
哦它是一个比较special的对吧啊就是好,那个这个fashion它就是对吧,你smooth function boss上面等于约定了一位对吧,对吧,然后我们说说这个。
然后就看它的b o l l set就是所有的点对吧,然后他等于零对吧,比如求就是x平方加y平方加b平方减1=0对吧,当然你要满足它,就比如说你可能有两个两个设备和相交对吧。
这个就是regular这种point,基本上你要要求这个gradient轴对吧,这个德尔塔就是求的gradient啊,就是这个东西啊,把球都是拐点的啊,这个东西确实是贵点的,然后它不等于零对吧。
如果你所有的,然后所有的披萨买了green。
那他就是个surface对吧,然后你有一个implicit function theory,这是想讲什么,就是local,对不对,如果你满足这个regularity的这种condition对吧。
那么你locally,你这个f p等于零啊,它logo里它都是一个two dimension啊,这是elies antitheory,对就是你可以找到一个参数化对吧。
使得这个logo里你能猜出那个窗口能表示对吧,然后,啊然后global里的话,那咱们就不知道了对吧,就是对吧,他他就是说你可以把它提取在一起对吧,global的参数化,那以后我们会讲啊,探索法了啊。
那怎么就是说这篇文章就是想就是你从一个点对吧,你怎么能构造出一个隐私的这个曲线呃,隐私的这个representation,然后你从一个隐私的representation。
你又怎么能构造出一个match对吧,就分两步啊,两步就是首先你怎么变成一个影视的曲面,第二步你怎么变成一个mesh啊,啊怎么变成演示曲面,也是他就是用这个sin x x方,比如说我们在空间中每个点对吧。
我对这个point cod求这个求这个距离对吧,然后我通过这个距离的正负对吧,假设我能定一个sin的这个正负,那我就可能定义什么,第一个对啊,但这篇文章呢它其实有很多问题都没有解决啊。
但是呢基本上当x build就是exception一个framework啊,大家都比较尊重那种,那你是讲那个点呢,input的时候我是没有这个normal发掉的对吧,没有normal的对吧。
那我怎么通过一种办法去计算这个normal对吧,我怎么通过,我们怎么通过一种办法就是去古今这个这个点的normal对吧,都说你这个古迹这个normal你不能说就一个就就一根棍子对吧,你还有一个方向对吧。
你没有方向的话,这个你从一个点,你比如说你找最近的点,然后计算一个计算一个距离对吧,我们做注册的时候需要这个东西对吧,the point of resistance。
那你现在的话你如果他没有orientation的话,那是不行的对吧,所以你看这就是这个framework对吧,就是首先它叫第一步,就是说你要找到一个play对吧。
第二步你要找到一个orientation对吧,其实这个算法很简单对吧,就是首先你要背着一个tan bin,第二个呢你要需要debucoherent orientation对吧。
第三个就是说你每个点要找电the close,对吧啊,好吧好,那就三步对吧,其实每一步呢你要其实我觉得都很优秀,每一步其实都很英,第一步就是比如说你怎么去fit一个对对吧,给一个点对吧。
你比如说中间有一个点对吧,然后作为你有一些别的点对吧,这都是30多点,然后呢你需要用一个play对吧,去废了它,那这个东西我们怎么做呢,就是解一个优化啊,解一个优化,就是说啊比如说我们想对吧。
这个这个play我们怎么定义人呢,它是有一个反向对吧,以及一个offset,对不对啊,那就是说我想minimize所有点到这个prt的距离对吧,平方和对吧,然后那concern就是它有一个normal。
它有一个office对吧,然后这个东西呢实际上它是有一个呃,它是有一个optimal solution的,就是这个o对吧,呃就是就是这个,就这个这个这个这就是首先怎么让你算出所有点的这个重心对吧。
然后呢,然后呢你这个法向呢实际上就是呃这个这叫converance magic,啊啊对呃的最小特征根的那个方向对吧,比如说如果所有点都在一个平面上,那你这个mac肯定有一个特征跟设定对吧。
他肯定是犯规定的对吧,然后如果所有点都在一个平面上呢,他可能他就有一个特征,就是就是就是对应的那个ix value和平,对这这是对,然后然后你如果有了这个buser呢。
那你就能得到这个平面的offset啊,这样,all right,好吧,然后呢这里面它有很多问题了,比如说你取多少个neighbor对吧,然后有的点可能是outline,你怎么把那个outlag滤掉对吧。
不让能够飞行对吧,它有很多galization对吧,这个我就不讲了啊,我后面可能做primitive feeling的话,可能是再再讲一点啊,这个东西的话,比如说你你如果奥特曼的话怎么办。
你可以用v t b rt square对吧对吧,如果是什么样的点,多少个点重要的,那你就可以说比如说我不但亏这个bor size对吧,唉然后你看看这个normal对吧,就是三个点,四个点,五个点。
六个点,七个点,八个点不断加对吧,然后看这个normal是怎么变化的对吧,你应该,然后这里面就有一个notion叫做position,position啊,这个东西嗯从哪来的。
从叫做personal homology来的啊,将来如果我们games找一个人讲这个computational topology啊,这个这个topic其实还是蛮火的,其实toology意思是很重要的啊。
在deep learning的时候也有人研究啊,那我觉得可以牵扯到这些东西啊啊啊就是这个问题有很多人研究过啊,这如果你不知道,我觉得你需要去补,不对,就是喜欢拉血症,对啊,有人说我我能不能翻译啊。
这这这这这这个我确实,嗯对好吧好就协方差矩阵啊,斜方差矩阵啊,但是我说的就是这些东西啊,你包括将来我们讲point cloud processing啊。
其实这个operation它也是他也是一个嗯协方差矩阵啊,刚才说我说了一个covious mac对吧,然后有有有同学说应该翻译成协方差矩阵啊,我我确实对这个发哈哈,这个这个好吧。
那我确确实好多东西我不知道怎么翻译啊,那个请大家原谅啊,这个嗯好,那我想讲的就是这个虽然说是一个很简单的这种操作operation,其实它里面的学问还是很深的啊,我我想讲这一点啊,你不要看你你理解了。
其实你还还有东西他是一定知道的啊,好那有了这个plan以后的第二部分就是说我怎么把它做一些orientation对吧,一个plane有两个orientation,对不对。
那那你你你可一般情况下我们可以怎么做呢,实际上就是说呃你可以写一个优化对吧,就是我姐对吧,我写这个orientation的,比如说我每个点我我我跟邻近的k个点我去做呃,相连对吧。
然后我要满足就是相邻的点,它这个尽量这个这个这个这个这个这个两个normal,它尽量比如说它是一个方向对吧,他进来是一个方向对吧,然后哎你可以写个优化,但这种东西基本上呃看完解了对吧。
实际上这篇文章呢他就是给了一个heroic啊,work还不错啊,你们有兴趣可以自己实现一下他怎么做的呢,他就是说我build一个gram对吧,然后呢我我首先固定一个normal对吧。
然后我把这个normal pop就是pop给我周围的点,我不但做propagation,对不对啊,一种情况就是我不断的抛给自己最近的那个点对吧,那这个方法呢他当然不好,比如说你你最近的这个。
比如说你有一个正好你这个normal它是角度是很大的,距离两个点距离很近对吧,那这个时候propagation就work了啊,我再说一遍,就比如说你做完etc这样你给定一个点对吧。
你不断的把你的这个normal的法向的pc周围的点对吧,pc周围的点对吧,哎不是这样子的,嗯对吧,你比如说这个东西它叫客服对吧,就是说work不太好啊,work不太好。
那他是怎么做呢,这篇文章很有意思啊,他实际上做了一个什么东西呢,他就是做了一个就是说首先我们build一个miibgm对吧,就是把这个所有的这个potential就是一个点对吧。
你propagation edge都拿出来。
然后他的idea非常简单,它也是一个neighbor这种base recocoa managgraph of the plane centers and age wa,但是这个way它是怎么来的呢。
他就说我看这两个法相是不是就是比如说我我有一个点,我已经固定它的法向,那下面有一个临界点跟他反向,本来对吧,t的是就是0度或者180度的时候呢,这个时候我就比较trust,我就去做pk对吧。
比如说呃中间有一个点是比如说40度或者140啊,那我就会除非我硬要做这个propagation的时候对吧,一般情况下我不会做这个对吧,这是一个东西对吧。
就是propagate normal around the minimuspenge of degraph对吧。
对啊,那这个东西呢它work的相对来说就比较好对吧。
就是说你你看这就是一个一个比较典型的propagation,就是说呃啥叫propagation,就是说你给一个这个就是这个东西应该怎么翻译啊,你们学校真是,就是你中间中间你有一个点已经固定它的反向对吧。
然后你相邻的点他发现有两个选择对吧,那你到底选哪个呢,你就选那个跟这个这个点那个法杖更更好,基本比如说他他们的normal差别是0度对吧,你选这个不会选180对吧。
这个时候你就把这个点的法向的orientation了,嗯这个就传递啊,可能是传递的意思啊,传递给你旁边那个点啊,好吧哎这个应该清楚了啊,好最后一步呢实际上就是你你给定了一个3d。
就是定义那个3d和fanction对吧,实际上就是他是这个3d的东西呢,就是说比如说对吧,就比如说你如果这个sample足够dk对吧,那你找到这个最近的点。
就是你真正那个underline的那个service呢,呃呃和那个距离呢不会不会差太远啊,实际上这个东西怎么做呢,就是说你有一堆点对吧,你翻翻这closest对吧,这个我们做嗯。
你有你你已经有一些平面了对吧,就比如说p对吧,这里有很多center对吧,有可center自然就是那些点嘛,你找最近的点对吧,然后计算到最近的那个点的那个法向是吧,playing diss是吧。
这个prindex我们做注册的时候用对吧,就是嗯做这个point to play diance对吧,做做对吧,他现在现在我就用来定义这个呃,dc主要低分是不同的地方就在哪,就是说你做出色的时候。
你是不需要这个反向的对啊,你做重建的时候对吧,你做重建的时候,你是需要反向的啊,对吧就是一个remark,就比如说你有很多很多点对吧。
然后一个点一个point到c就playing the distance对吧,实际上就是说你会发现这个这个decent它不完全啊,比如说它不完全一样对吧,后面我们会解彻底解决这个问题啊。
用一个思想叫conditional unity啊,就是大家还是平时你注意啊,有些专业的术语,专业的术语你还是英文比较重要啊,就是便于交流,便于交流啊,然后然后呢你有了这个东西以后呢。
比如说那也就是说比如说你有一个独立的对啊,你你你比如说你你就要回忆你上面每个点对吧,你都可以到那个找一个最近的点对吧,然后去找加上距离,那你就会得到,比如说你空间中一个petition对吧。
你会放一个q potential of space对吧,就是说尽量的细对吧,然后然后每个上每个点都可以计算距离对吧,可以问的也可以负的对吧,然后呃,对吧,然后这个你可以计算这个呃对吧。
那那有胜有负的时候你就知道对吧,呃比如说呃这个green上面一个h对吧,一条边是这里下面是负的,那就是你要知道这中间肯定有一个框对吧,intersection是吧。
然后你就会你就查查你为interpolate,比如说这边是这个论证的地方是二对吧,那个地方是-1,那你为interpolate这个地方对吧,在1/3的这个地方对吧,你就说这个音的三成这样对吧。
就是这个算法呢叫什么呢,叫marching cu,这个东西是一个非常悲剧算法啊,啊那现在大家最近有些文章的都就sm freeze那个which is z啊,他有篇文章啊。
就是呃研究用deep learning来来做模型q啊,但是他那个其实他excel很多了对吧啊,那边玩的挺好的啊,我建议大家可以读一下这话开服三啊,然后那个呃你有了这些点以后呢。
下面就是你要重建一个mac呢,就是说这些点就是那个max what tex对吧,这个摩擦系数首先它在这个edge上面对吧,第二就是他是这个edg的满足条件,就是一个正的一个负的一个正的一个。
或者你换一个3000工业,它就会变成什么,它总有一个地方是零,对吧啊那个地方呢它就是这个mamax water对吧,那下面一个很重要的问题就是奥尼尔,what is,你怎么把它连起来变成一个mac对吧。
what is,大家很好理解,对不对,你就找一个这不变对吧,连起来呢他就有这个呃,我待会儿会讲也会提到你这个moching cues呢,他就找了,比如说你还有17种情况,就是说你十几种营销是什么。
就是当你刨除这种心理学嘛,就是orientation这些东西有17种情况对吧,实用的话就是说你你是个正常的点,有正有负对吧,有正有负,然后呃,有正有负对吧,然后一共有17种情况去构造这个match对吧。
就是把它相连对吧,呃相连你保证这个东西它是consistent啊,or two different sales啊,那其中有些方法呢还是有些ity,这个时候你可以用能力方法解决啊,这是mtv。
为什么现在的现在大家有能力做这些东西啊,嗯这个东西呢我就不讲了,这这这个东西呢嗯,它是一种就是纯纯枚举啊,纯没取啊,其实也不缺表啊,所以这篇文章他贡献很大嘛对吧。
不取表啊,然后有了这个东西,比如说我给你举个例子,就比如说你看啊你有一个这种对吧,这些红的这些这些砖砖一样的,就一个个的cl它都跟那个曲面相交,对吧,都不愿意,然后呢就是那个重建出来的这个mesh啊。
重建出来的mesh就是说啊政府边它就一over tag全部连在一起啊,motion cube这个东西你可以看出,第一就是说他就这个全国它不是非常非常的这个,不能保证啊,这个你叫这个叫什么meeting。
王王对吧,你不能不能保证,我都想说这个东西不能保证,金刚老师是不是讲过remission对吧,就是怎么把这个三角面片变得更好对吧,应该有人讲过吧,没有讲过的话,我们应该看门课来讲这个东西啊。
就是讲解放性比较核心的内容吧,首先你保证是一个网格啊,就是良好的,但是这个shift没法保证后面对一个作品mine,后面有一个叫your countering啊,就是相对来说啊,我这个后面会提到一点啊。
那那个是比这个稍微好一点,但也不能完全解决问题啊。
好data structure,就是说比如说你可以呃对吧,你可以有一个这种group by voxels,对吧对吧,你可以这样方便你找neighbor search对吧。
就是嗯对the complexities,这个大家可以记一下啊对吧,啊这是一些result,ok是那那是第一篇文章啊,我们后面会正面讲讲你怎么得到一个更好的,一定对吧,你现在你可以看这个问题在哪。
你比如说你一个点如果太多一点的话,会出现什么情况会出现,比如说明年你你你不是一个设计师,他们可能对吧,那可能香菱这个比如说q d是这个整个区域对吧,整个区域这个地方它都可能也跟这个东西相交对吧。
这就出问题了对吧对啊,这就出问题了对吧,都是result对吧,然后我们再讲讲这个what a mea method for building,compression。
model for range image,cd篇非常inference的文章,不认识你的啊,这个inferential的东西在哪呢,呃其实我跟大家就是我觉得这个思路挺好。
就是呃比如说jj processing啊,特别好,或者就比如说computer vision里面啊,大家都写,就是比如说这边就是大家都喜欢做一些做一些sequence的东西,就开始单。
我就说呃这这个东西大家可以做比对的,注意啊,就是包括我自己有时候经常,那后面会讲吗,如何如何上是呃,后面会讲吗,如何从电影构建移动最小啊,我后面会讲,你可以到我的主页上,到这个课程主页上。
就把slide下下来啊,你可以提前去那边看一看,如果你对这个东西不感兴趣的话啊,那个slide是在主页上的啊,然后,就是大家喜欢一步一步的去做对吧,比如说我首先得到一个点原因,得到点晕以后。
我就不管这个点是从哪来的对吧,比如说这个这个这个这个这个这个这个def jam这个这个pose在哪,我都不知道,对不对不对,然后,对这些东西都都都都没有对吧,然后那个呃,对吧。
然后这个好处就是你每一步都解决一个康复的问题,比如说将来我们我们下节课会讲这个主要从motion的时候,你会发现诶本来一个普遍常复杂的问题,我把它分成三个部分对吧,分成三个部分,每一部分都有显示解哎。
这从build就是build系统的系统的角度来说,他就非常非常好对吧,就是每一步都是显示节目不会做优化的时候搞到一个local命令嘛对吧,缺点就是什么呢,这个东西是suboptimal。
就是你比如说你前面的那算了,犯错误,后面没啥recover对吧,或者前面用的这个information你没用上对吧,他是这样一些东西对吧。
那我们现在怎么做呢,就比如说你比如说这个我的mac算法,你比如说你这么想,就说他这篇文章做了一个什么东西呢,我觉得大家记住一点,他就说我做重建的时候对吧,我算那个曲曲线的时候。
我不应该把什么把以前比如说你这个每个点他的那个camera cos给扔掉对吧,对吧,为什么come on,不能cos,不能。
因为他嘛他会有一些with the beach的constrain,会有一些with the becom,说我举个例子,你那他这篇文章呢也是同样对吧,就是有很多scar对吧。
很多can后我会把它乘一个x就成一个这种这种distance fasion,类似difction,然后我会做一次surface。
对吧,它实际上对面文章做了一个什么呢,做了一个lisquare solution对吧,做了一个lisquare solution对吧,就是啊我具体就不讲了对吧,他就是说我我是做了一个对吧。
就是说比如说你有很多skin,我不是找最近的点对吧,我不是找最近的点啊,飞进的思想呢后面非常infenti,包括你这个pcr。
你这个fplease surface regression会讲一系列的工作啊,是基于这个东西来的啊。
就从这里开始的对吧,它实际上就是errole point对吧,就是说我会awage对吧,我会就是说每个点对我找一个曲面,一个impression fashi,我去beat对吧,我会我去c的所有的点对吧。
这样的话比如说你点有误差的时候,比如说我找一个最近的点对吧,那就远远不如我去做fitting要好对吧啊远远,我顺便跟大家讲一句啊,就是这些工作前两天的话翻译翻译成现在的话,怎么我们怎么去。
可能你重新做一遍啊,我觉得是很有前景的,很有学问的,我觉得现在慢慢的大有大量的工作啊,我个人感觉我一个直觉,就是会有大量的人重新再把这个东西重新做一遍啊,从地不能用角度。
然后我们把performance再提高一下,嗯就是嗯怎么做,这是一门学问啊,嗯对他就做feeling对吧,做feeling的时候呢,你会注意一点对吧,就是说呃完了以后呢。
你会有一些后对一些取一些这个这个洞对吧。
嗯要去补对吧,这个我就讲的比较粗了,不像上面有讲那么细啊。
然后做好时候呢,他就用这个sense的information吧,这也是一个系统,就是说你比如说你在在在这个地方,比如说有a有b有c对吧,那你中间怎么救呢,你不能乱丢对吧。
你不能说你也搞一个这样的东西对吧。
你会发现他他就会这么去对吧,to feel对吧,呃我具体具体的那个算法我不想啊,现在没有时间啊,我就不讲了,就是说他是引入了这个就是b的pd的con啊,就比如说你这个fir出来后。
你不能把你windoable的设计师给打错了,那不太可能对吧,他有时候via via cl,然后你想这种传这种,如果你在重建的时候不考虑这个东西,如果一个点燃,那你很有可能就会忘了这个商品。
对吧。
比如说它一个特点,就比如说你看啊,你比如说如果如果你不不不遵循这个with the ability constraint吧,比如说你ranch services是这样子对吧,你如果是直接去搞的话。
他就会这via这个对吧,如果你是做出规定的话。
唉他就会你看这就是那个比较嘛对吧,就是说如果你有这个这是一个那个呃呃具有对吧,如果说这是前面一篇文章我没讲啊,它实际上就是把所把那个boscheme把它缝在一起对吧。
这个地方如果你首先你如果做regression对,就是碰了,this is so regression,然后你还遵循这种videbo。
虽然也能得到一个更好的结果啊,好吧呃好好,这是这篇文章,我就简单的,因为这篇文前面的铭文章相对来说比较有简单的勾勒一下,那下面我会重点讲一下你怎么得到更好的隐私对吧,特别是你的点有noise的时候对吧。
或者incomplete的时候对吧,或者你要保持一些保保,保持一些跑的那个feature的时候,你怎么去做对吧对吧,就是非the primitive data。
minimize square distance,between perform and the primitive对吧,哎你做这个东西就是tx等于a x a加b x加4x平方对吧,对这个东西的话。
你就是做一个lisquare cing对吧,做一个lisquare cing啊对吧,就是fitting对吧,这个东西大家你们有谁知道这个这个解是什么样子吗,怎么去解这个历史规,有谁知道吗。
有谁知道怎么去解这个历史gram最小二乘对吧,应该叫做嗯,不是这个well pls v d在这个地方应该是解一个linux对吧,non system就是最小二乘啊。
你如果如果所有的那个系数大到里面去是一个ctrl,是一个list square的时候,他就解一个,我高我们不需要高斯牛顿没有那么复杂,这个地方几个人,你我你也可以说是高斯牛顿,他一步就收敛了啊。
呃一步就收敛了,很好啊,大家还是我觉得还是咱们还是有些interaction interaction啊,高速由那一步收敛对吧,因为它是一个二啊,不二次型对吧,这个地方跟你讲了对吧,就是你可以说这个对吧。
你可以写一个这个求导对吧,就是mini sim equations,这个东西是这样的啊,就是你当你做久了以后啊,你就会非常非常舒服啊,你不你如果从来没接触过对吧,那你真应该呃这应该自己推一遍啊。
这应该自己推一遍啊,好吧,就是比如说什么这这几段话就是出面解,就是说他这个c就是那个a abc就是那个cosation对吧,你这个东西等于零对吧。
然后你就会变成一个这样的这样的那个linuc equation,这个p什么东西的,这都是我们知道的对吧,然后呢很有意思,就是说每个m他是个p的这个power,然后这边就是这样子的对吧,对吧,对啊。
然后你解一个解一个linusession,你就能得到这个这个这个这个这个这个tony的常数对吧,那就这样子,这是一种fitting对吧,然后我讲了,那那你怎么咱们怎么来b的演示曲面呢。
呃这或者这个东西它是怎么发展出来的呢,呃很有意思啊,很有意思啊,有一种东西叫做radio basic banks啊,这个东西怎么翻,咱们叫或者叫r b f吧,好吧,咱们就叫r b f。
实际上他是怎么说呢,他就是说他represent partition fections的,son of radioactions are,对吧,就是说这个东西呢它是,但是怎么说呢。
它是这个呃你有些data point对不对,然后呢这个呃呃呃然后呢x到p i它的距离对吧,然后r呢它是一个basic sec的,就所有的点都需要一个basic啊,就是这里面variable是什么。
variable,实际上当你r固定当然可能是have fm的,这是wi对吧,就是你把所有的fashion对吧,你都把它给找出来呃,加一个wei对吧,这个weight呢实际上它是有一个好处。
就是linux对吧,就是f4 的linui,就跟那个pomio那个前面的系数一样对吧,啊我是一个小伙啊,镜像奇函数啊,呵呵嗯行吧,然后fx就满足这个现实对吧,然后然后你就可以解对吧。
你可以解这个这个系数对吧,就computer这个wi对吧,实际上就是说当你这个点上面有些值对,比如说你这个点是对于那个点的复议,后文会讲啊,然后呢嗯对吧。
然后你就可以写这个lina lina seof equation对吧,就是说呃假设你比如说呃你每个点都有一个词,对不对,每个点都有一个词反对吧,比如说这个点在外面呢就赠一的那个点在里面的-1对吧。
哎你可以speci一些这些constraint,然后呢你就可以把w0 w w给解出来,其实你发现没有,就是写,嗯对他那次也没事取曲线那样啊,他实际上就是或者叫做一个fal space。
把一个lina这种这种线性的对吧,组合在一起,对你要写的就是w啊,这个好处就是这也是一个linusal equations,对不对吧,也就是说你在这个点上面你定义什么值对吧,然后你就能解出一组系数。
对不对,我们比如说我们想这个点,他的那就是说你在外面对吧,你可以延长的法向方向去定义一些东西,对不对,我们待会讲啊,待会讲啊,你别急啊,你就说现在我们就知道我们这可以插值这个点上的什么。
可以就是我们在点上面都有一个就是有个function对吧,我在点上每个上面都有值,对不对,然后啊我们就能插值出来对吧,我们就能插值出来这个呃这个每个点点的weight啊,每个点的wait。
然后那个倾向进函数呢对吧,它实际上那就是有depends on the radio function对吧,他们一般用的系统,就比如说这个secret sp d等于d平方等于lod对吧。
或者就是说这个高层对吧,是一个data frameter对吧,或者就是edge,也就是说它决定了你这个fish size对吧,就是你这个卡子他要你要查查子,多多多多海水更新的东西对吧。
对吧就是他t就是本质呢它也就是一个叫final space tv,但他不是tp space,但就是fal space就是点上面它的一个fashion,然后把它结合在一起,对吧啊,结合在一起啊,嗯对吧。
但是他有很多问题了对吧,就是说这个尽量减函数这种东西啊,a large system evaluation,requires global solution对吧,但是你发现没有这个sdf。
你比如说d s d f,所以df sdf都用了新机二式的一些事情啊,这里就是减,然后ok对吧,然后我再讲一个概念,一个是radio bc,再一个概念就是potential。
这个petitive unity呢实际上就比如说呃他解决的是什么问题呢,cdpc section它是一种差值的办法对吧,poly呢实际上是把一种这种local的这种apartition对吧,把它给结。
怎么把它结合成一个整体的啊,这种proximation对吧,比如说local reflies by quetic surface是什么东西啊,你然后你怎么把它结合在一起,变成一个整体图形。
嗯这个东西这个partition unity从哪来的,你知道吗,它实际上是从这个如果你们学过vc流行的话,构造的构造那个构构造那个比如说increasy fanction series。
或者构造一个manual时候,那这个东西经常用怕对面ity对啊嗯,ok我现在还没讲算法啊,我现在讲的这些基本的这个to啊,这些工具啊对吧,radio basic section。
就是说你可以把你可以重建出一对吧对吧,这个这个这个function吧,然后他的他的他的primeter就是一些系数linux啊,然后你解求解这些系数的时候,你可以解一个linux对吧。
pdc呢是另外一个工具,它就说你怎么把这个local的这个potation的拟合在一起,把它变成一个整体的东西,但实际上还是这样对吧,就比如说你有一个fx对吧,x任意的对不对。
然后呢我会我会把这个fi x都写成这种形式对吧,然后你这个杯子是这样子的,对不对,嗯为止是这样子,然后呢,他这个好处是什么呢,就是说当你这个杯子是这样子的时候对吧,你然后这个f p i对吧。
当fpi当你把这个pi扔进去的时候,正好呢这个f的值呢就是就是f i对吧,也是一种差值,对radio basic session是写一个mini sim。
这个ipad function interpolation,插值呢他就是说直接是一个显示的表达式,直接是一个显示的表达式对吧,直接是一个显示表的啊,然后limit它就是f i,然后当你去pop对吧。
就是说会有一会会有一些限制了啊,这个东西我就不讲了啊,就是说对吧,你可以可以有一些别的方法去set对吧啊这个我就不讲这个我就不讲了,petitive unition method对吧。
potential unity,它实际上就是怎么说呢,就是说你比如说有些有一些点对吧,你有些点红的啊,然后呢我想build一个function to proximate。
就是continue function和防止红的点一种就是几个新mini session对吧,那现在我还一种什么办法呢,就是说devon的quer啊,就是说我解一些简单的问题。
然后把把这个简单的这个问题的解呢把它合在一起啊,这个思想非常非常重要啊,这个思想非常非常重要啊,怎么弄呢,那就是说第一第一种可能就是上帝,还是一些所谓对吧,我fit一下,比如说fit一些。
比如说这个地方p的那个地方是fate,有国家的surface对吧,然后飞的时候你会发现诶在这在这个班子里的这个地方,就他不是他不是混合在一起的是吧,你就会发现它有gp,对不对,有get up。
那你怎么把它合在一起呢,怎么把它合在一起呢,这个有这个时候我就就这就有问题了对吧,这个时候怎么做呢,他就说你不把这些走位把它完全的分你,你把这些走位呢,比如说每个每个vision的抖妹。
你把它分成overla olab,对olaf一下对吧,然后每个种类里面呢你废了一个faction对吧,然后这个地方它只有一个faction对吧,这个地方它只有一个f。
那这个地方它有两个fanction都可以用对吧,怎么办呢,我就把这个两我就把这个定义一些,一些是ort对吧,把这两个promission flag在一起啊,这个wait它就满足什么条件呢。
就是说你在这个抖音里面它是有直的对吧,等面外面它就是零对吧,再碰不country不contribute对吧对吧,如果学个b样条曲面曲线啊,b样条曲线是这个东西的一个特例对吧。
你b b样条的basis not compact support对吧,实际上这个思想呢呃任何本体上线,只要它是compex cod,你都可以用,对吧啊,都可以用啊,其实嗯如果选对,按道理来说。
这个地方讲的话,你们可以我不知道第二条,第二条大家学过吗,现在现在现在国内还讲第二条嘛,就做统一学的时候不讲了是吧,大家还是首先比如说做毛的领域,大家会首先讲这个bbs的区域的曲线,杨林嗷嗷。
ok杨林讲过的啊,ok那那这个思想,那那那应该会大家就很很没有什么问题啊,没有什么问题啊对吧,然后union master他就说他因为你要卡值嘛对吧,或者就是说你要不让在一起。
你要满足所有的weight的对吧,那个你上次不都就two one对吧,那比赛西法的位置,这样才会全面都满足这个东西对吧,然后你有一个locally support,对嗯对吧。
然后呢比如说你你p了点的时候呢,你可以做一个这个什么东西,你可以做这个moon miss quare,就是移动的这个最强二层对吧,你就是computer local procu一个点对吧。
然后你然后你wait那个distance data point bason,the distance to x对吧,就是你有很多no或者feat,然后每个点你都可以wait这个diss to ex对吧。
然后你就可以把它什么对吧,你就可以做这种呃移动的最小二乘,你看这个地方很有意思对吧,就是说对于每个x对吧,你可以做一个这种作为一种setting对吧,然后这个东西是一个smooth。
就变成一个smooth cv,if not if seat is smooth,ok啊我讲清楚吗,我应该没讲清楚啊,这个地方啊我就是说像这个就是说大家理解这个理解这个思想。
就是说这个movie lisquare的时候对吧,我seed是这个g对不对,然后p4 g的时候呢有很多很多点,对不对,有很多很多对吧,有很多很多点对吧,然后我飞的时候呢,就是说我尽量让这个。
比如说如果这个pi离我当前的这个x非常非常远的时候对吧,那我就让他这个位置接近零吗,就是他不去做c对不对,然后你这个solution既是一个什么,是这个smooth fection of对吧。
所以它是一个实木子克啊这样所以他就是一个实木子克,movie square,这也是一种setting的办法对吧,就是你怎么把这个logo的东西把它给结合在一起。
然后你比如说这个tpc choice of peter,对不对,然后你当你做feeding的时候对吧,你这个c塔i它是固定的对吧,当当当你x变变的时候,这个c塔也变对吧,实际上或者或者这么说吧。
就是说wait list square对吧,就是每个weight,每个点的位置是决定你当前这个对吧,首先你看啊,就是我们我们把这个东西理解一下啊,就是如果如果大家知道,那那你可以啊,所以会这样没关系啊。
首先我们的目标是什么,就是说我们有一堆解啊,我想把这个东西讲清楚,我们有一堆解对吧,我想把它呃,出一个非常smooth的客户出来,也就是我想知道每个点它的值对吧,我现在只是在一些离散的地方。
我只知道对吧,我想知道每个点值,那怎么做呢,首先我固定x是吧,我想知道这个x值对吧,就是x对吧,他relatively to other data point对吧,那这个时候怎么办呢。
把每个点到这个x的对吧,我用来weight那个点对吧,然后我做一个weight lisway,就fit说一个g是吧,出一个g对吧,然后然后我飞了出g呢,我把这个g在x的呢。
我就定义成这个当前我这个点的对吧,实际上就是说这个首先对于x对吧,这个gx就是跟那些相邻的点的直线有关对吧,tv choice for seat对吧,c d等于d的负方方对吧。
c d等于e的负t平方除以x平方对吧,所以h x对吧,standard lisquare problem对吧,lina is the question is blinusquare enia对吧。
对这些这些东西都是那个,然后我再讲讲c里我们有q了对吧,就是说有一个to ta哪几种,你看啊我们总结一下啊,这个radio basic fanction吧,听一下接函数对吧,就是说我能把一。
但我能把一些离散点上的那个fashion只给查到整个空间中去对吧,我们有这个sheep这种interpolation对吧,我们还讲了movie square这种,对不对,有三个球。
那现在就是用这些东西来什么呀,来能求,来来来来重建这些increased这个东西怎么弄呢,就是说对,首先引出曲面,我们刚才讲过了对吧。
然后我们怎么怎么怎么通过这个怎么通过这个point of samples,对不对,嗯,来来来重现这个演示曲面呢,这个东西很很interesting interesting啊。
就是说就比如说你这就是fashion should be deo in the data point对吧,就是这些点的地方怎么他都是零,对不对对,你去过所路线,就是所有所有的地方都是零对吧。
所以我们需要一些ditional concert对吧,这样是不行的,这个时候呢我们是怎么说呢,这篇文章很有意思的,就是work turk啊,jam james他们做了什么东西呢,我就是说给定一些点对吧。
我怎么说呢,我首先一个是normal information对吧,就是说我我用这个normal对吧,我就是怎么说呢,就是说上面这些点对吧,比如说这个点我沿着这个normal发现set的一。
我说这个f在这个点是正义对吧,你offset的-1是吧,但这个点的值-1对吧,这个时候呢就可以可以可以通过那个解那个faction,对不对。
可解那个解那个is the radio bfx或者the movie square对吧,你们解出一个解出一个这个啊implicit对吧,这东西这个思想其实还是很inferential啊。
其实你发现没有这个graphics都一样,那比较infer的东西他都非常简单的东西啊,就是说非常简单的东西,对我们讲过的这种什么sa这个这个normal对不对,我们讲过了,讲过了。
这个地方呢可以做一份weight对吧,seing对吧,后面有些人改进嘛对吧,用那些东西做orientation嘛对吧,kphop的文章对吧,这个东西我就不讲了,但是反复大家强调一点啊。
就是说猫猫还没完全解决,没有完全解决啊,特别是以前弄一点的,开始下面怎么去做猫猫飞脸都没完全解决,然后implicit from point samples对吧。
就computer on the angle of field is normally information direct constraints,fpi加上ni对吧,这个地那它就等于一对吧,唉,对。
对吧,这个他的核心思想是什么,核心思想就是说我上了猫猫以后毕生,然后呢我我可以出一些点对吧,然后构造出一些词对吧,用这些东西drive啊,这个implicit的东西啊,那么大家,这slash是有的。
你可以上去去去download的啊,就是然后我有很多内容不可能所有东西都讲了啊,我希望大家就是你如果有兴趣的话,你去读读文章啊,你们都是提高课,对这个思想你就记住对吧,你就说你看外面有一些点对吧。
但里面有些点里面都是正负的对吧,然后你去c的一些ctrl的,外面又是正的c的一些ctrl,然后求解求解,嗯right对吧,那实际上就是这样对吧,就是呃f p i它是等于零对吧,在这就等于是等于零。
然后fpi呢说你外面可不就是一些shot的point对吧,它就等于dr有d这个di有真有空啊,都是正都是都不行对吧,然后你是一个a b for procation,对不对。
is a seof equations,然后computing implicit对他有problem是原有很大很大的时候对吧,你还是记不到,对不对。
第一种解法就是说你能不能搞成一个spark match对吧,或者用the iterative solver对吧,但实际上这个还是还还是比较大的,还是你如果要写一个这种0。4层的话,重建的问题他都不是。
那么除就是除非是像上坡松那样对吧,你搞一个这种harratic,基本情况下它这个东西是比较慢的,比较慢,all right,对然后后面还当然有些改进了啊,有些改进,这个因为时间关系我就不讲了。
我就不讲了,你比如说你看这个rbf,他能基本上他能控制吗,你用少量的点对吧,就是少量的点他就比较实木子,他可能p得出一些这种呃,这surface fish也能做一些mooing的,做mooth。
每当我们休息两分钟好吧,休息两分钟,我接着讲一个比较重要的概念,叫mt level的这种话题,命题也是一篇很有名的西瓜分文章啊,休息两分钟再。
太好,有个问题啊,就是天天向上,face reconstruction,那现在大家用的比较高的一个东西,我现在回来讲就是titious unity,嗯,这个思想很好对吧,但是你比如说一个surface。
比如说一个shape,为什么interesting啊,就是或者或者说大家为什么研究这么久,就是因为这东西它有一个level of detail的东西,而且有的地方呢比较光滑的吧,那有的地方很多垂直。
对不对,你比如说就是如果比如说我们的资源有限的话,它就不能完全的表示对吧,我们就需要用一些这种这种这种traditional unity的思想对吧,硬件的思想,这multilevel对吧。
就比如说什么是multilevel,你比如说传统的变量条曲面对吧,后来后来你因为这个变量条,比如说曲曲面,你哪些地方它有些项目飞雪对吧,你需要多采一些对吧,那这个时候呢你比如说你就一个你你做做。
因为变量条比如说他是这个嘛对吧,这个时候你就会用很细的control control对吧,有问题对吧,后来为了大家为了解决这个问题,就是不把那个一样条曲面那个这个这个control point对吧。
那搞到个特别特别细,他怎么做呢,这个时候大家就做teslg对吧,t对吧,就是我只在有些地方确point就像网格一样对吧,有的地方我那个商家网面片比较大对吧,呃离那个铁那个特征比较近的地方。
我就那个比较小对吧,我们就用分享market level跑题选对吧,是什么呢,实际上就是说using motilevel for unity to concerts models对吧。
实际上就是说这个东西呃,呃这篇文章很有意思啊,就是我发现什么,我发现最近违约一些文章,就是大家对这个比杯子三层这些东西很熟悉啊,往往是对grass里面这种这个文章散太远,其实也挺高的啊。
散散运气其实挺高的啊,对这些东西不是很熟悉啊,这个东西是什么呢,就是说但是这个思想其实很重要,就是我觉得这个他这个里面的思想其实也,他有three tesset对吧,实际上就是说我有一个点云对吧。
但东网蛋糕网我把它feed出了一个这个呃,我把它seed成一个这个呃这个呃,在每一个logo里有出一个国家的section,对不对。
那那那这个地方呢就是说有的地方呢我不需要那个特别喜support vision,可以大一点,因为非常smooth,那我不需要那个很多的这种这种function对吧,如果去表示对吧。
他然后所以three kon concept对吧,第一个就是做piece one这种corrigic city是吧,你可以摸到飞起对吧,第二就是这么unity。
but the waiting functions of the blend is local shifunctions是吧,其实很重要啊,就是这个思想后面也经常有人用的。
the auto is subdivision对吧,然后他们actually respect shop fishes这种这种你是怎么去做subdivision呢,它是它是由这个决定了对吧。
就是你sting如果肺不好,那我就刷wife对吧,这种思想其实后面在graph里面还蛮多的,用的蛮多的,希望大家能理解一下,比如说那个人,然后可以做一些editing对吧。
你可以做一些editing对吧,有了implement表述的时候,就特别可以做这种c s g对吧,可以做bending,对不对啊,这种各种各样的东西对吧,sorry对吧。
它实际上嗯你看那个hop那个最开始那个文章,他是没有逃跑的对吧对算了,那么后面这些文章包括service construction,construction,它都是这个对吧对吧。
主要的思想就是说我ctively对吧,去用error control promial sign process services,dio level of the distance section。
就是这样的对吧,就是你creating fit,profarch based on lion,bbox for tonset of decel,对吧,就做一个feeling对吧,核心思想是什么。
核心思想就是一个r cubsp,核心思想是什么思想,就是在这对吧,就是我fit的不好对吧,云中云给我一点点,我fit一个function对吧,如果这个fate的l o很大,那我怎么办。
把这个分享呢就把点呢减少一点,对不对,少的时候我我对吧,你就说稍微忍,然后然后他那个神sb cell里面再去b的by sb cl里面的简单就减少了嘛,对吧,诶他就能fix的更好了啊。
这东西啊你真的要自己去实现一下,拍拍这个grap,你讲就是前二就发生这样的,很好对吧,但是真正他in practice works怎么样对吧,这个东西很重要啊,这个东西非常非常重要啊对吧,那怎么说呢。
比如说他就定义了一些这个weight faction对吧,实际上他这个weight faction depend啊,这个对吧,be spring对吧。
然后defend这个decent对每个点到这个decent这个距离对吧,然后这个radio ri就是决定你这个东西support vision有多大,对不对,然后你要保证什么呢,你要保证这个是吧。
嗯for interpolation,但你approximation的时候也是用的这个coop出来,就是说实际上就是说如果在那个cd外面的话,很多的话。
那个点就不can you bute to sell feeding对吧,interiation的时候,你要保真能用一定这个文章用了,另外一种都是通过这种实验的检验啊,这是一个choice啊。
这是一个choice,然后ok对吧,然后partition of unity,对不对,就是blend no confection,using schools。
loco was that after one对吧,然后,对吧,然后就是这这是一种思想啊,然后这个地方是一些具体的东西对吧,这是一个核心,那就是or chbase proversion啊。
你看这个东西是这样的,就是你有一个对你有足点啊,这有一个cell对吧,比如说在这个里面对吧,这个这个这个function对不对,这个function t的还不错对吧,那我就不soft di。
在这个地方如果气质不好的话对吧,我就说sop vision是吧,每个有一个support vision,就是应该就是把一些点都进来对吧,就是在这个里面诶,我对这些点做一些违体的飞艇,对吧啊。
然后呢如果这个这个这个这个vision里面点非常复杂的话,杂的话那会出现什么情况,非常复杂的话会出现什么情况,你就需要进一步的做subversion对吧,然后把他把自己的拿进来,然后再去做对吧,对吧。
对吧就是个abc对吧,然后用这种东西对吧,它是它是有一个sting的快界面对吧,就是说你的这个呃positiation error对吧,嗯但但就是说你要处理这个gradient。
为什么你这个因为你你这个,这个代数的曲线不是代表整个这个真正的error是吧,所以这个gradient啊,如果green是一的话,他就这个dition 3什么。
这个时候你的这个这个value就代表你这个disc,如果这个leo它特别大的话,你就进一步的sp就别的地方对吧,然后你看这个地方就可以了,比如说你这个地方你个对吧,你看这个地方有很多呃normal。
对不对,然后你就不让你去,然后这就是那个结果对吧,然后这个是那个嗯这个这个这个黄的就是那个是呃duo nset对吧,这个color就是你飞得出来的那个嗯就是以那个surface那个词对吧。
然后你会发现就是说你越下载的地方,切你越多的地方,你那个cell就分的越密,对不对,越平滑的地方,你这个shell怎么样,它就越粗对吧,因为你这个地方,比如说你在这个地方对吧,月初对吧啊这种思想啊。
实际上还是牵涉到什么,你就是如果如果如果你要去hit一个increases,这种表示就是表示对吧,第一就是说你这个影视的表示你这个三选在一个什么space里面对吧。
在一个什么空间里面对吧啊radio basic 3角形,那就是每个点t的一个杯子合在一起对吧,哎这个地方呢它实际上就是说嗯,他是他是他的那个他的那个basis都是so sales对吧。
就是这个一个一个的cell对吧,你越多的地方那个shell它就上,它背水就越多了,adaptive stre然,这主要是那个shot code,进去。
然后这个logo那个shape fancy怎么去做feeding啊,这个东西其实如果真的没做过,我建议你还是做一下,我后面那个我们做那个depremier也会讲啊,demit时候会讲啊,然后那个呃。
details in the paper,details in the paper,啊这个feeling这个东西你们如没做过的话啊,如果你想做题去processing,然后你没做过,说给一些点。
你对一个faction你从来没做过这个东西是不行的,这就跟你做没从来没简化过一个match一样啊,非常严重的东西啊,我们下节课第一第一次作业就出来了啊,大家可以看一看啊。
representation power对吧,就是说非常就是说你可以你决定实际上决定你这个杯子怎么样对吧,你还是能beat,这个就是你可能也就是比如说你你可以用peace wise。
这种corduality去model shh,这个还是还是很impressive啊,对还是很impressive,如boss对吧,你可以看对吧,f的一个零对吧,你可以呃可以煮面中out。
然后我再简单讲讲这个projection,main project,那要是干什么呢,就是这个东西呢,除了这个方法呢,大家还是用了一些什么东西呢,就是说这个东西怎么来,首先我要讲讲,他就说是曲线。
而你是好对吧,但是,一个一个一个缺点,就是说嗯嗯嗯给你一个点,你并不知道哪个点在这个局面上面对吧对吧,那这个时候我们怎么办呢,呃就是有就是特别是这个psy出来的时候。
大家用了也就是做了一个一系列别的工作,一系别的工作,他的核心啊,就最后他的这个drive的这个东西呢还是一个隐私的表示,只是说呢只是说这个他他不用,他不是直接存的这个隐私,这个曲线这个基因什么东西。
但是还是存了一堆点啊,只是这点呢就比如说你你给了一些红色点,对不对,然后不要再在这个再加一些点的时候,我其他的这些点呢他利用这个来决定的啊对吧,实际上比如说有一个非常有名的工作是吧。
实际上他就是说呃那怎么做呢,它实际上是做这个local of rest,你给定一个点对吧,他就说他是一个iterative的过程对吧,is iterative iterative的过程哦。
把这些点的位置把做做一些改变,不断的把做一些改变,就是说呃我给另一个点对吧,我set一个这个tonomio对吧,peace beat完了以后呃,呃我就得到了得到了一个值对吧,然后得到这个值的时候。
我在根据这个飞艇,我们把这个点移动一下,移到一个新的点,他就是在the neighborhood都变了嘛对吧,然后我就不断做迭代啊,最后你能证明呢是什么呢,就是说你看啊这个这个地方很有意思对吧。
我就是首先我嗯我飞了一个play,对不对,就是给定一个呃q对不对,我配的一个play对吧,我就用这个play呢,我作为一个corner system,我来feat一个logo的surface。
fat一个logo的surface,一个logo的surface,以后呢,基于这个logo的surface是,那么我的office这个点我来up这个点啊,我就因为时间的关系,我就不仔细讲了吧好吧。
我就不仔细讲了,你你们如果有兴趣的话,你可以呃这个东西也用了一个这种special data structure,special data structure,然后这里有一个有一个比较硬的。
如果如果你们有兴趣的话,可以读,就是说这个这个这个大家都喜欢看图啊,我觉得不管是谁都喜欢看图啊,就是说比如说你有一个a点,对不对,你有一堆点的这final spark,还有normal对吧。
然后呢我有一个good point,对不对,grade point,然后呢我就把这个鬼子的破坏不断往上面投影对吧,就不断的去投影对吧,就是统一之后呢,你就会变成一个什么。
变成一个非常dpoint cloud,是一个非常dance,非常非常呃dance point cloud,就是这就是projection basa method,ok。
我在后面讲那个tcs就是点云的处理的时候,我还会再讲一讲这个这个东西是呃,基本上我想2100 999年到2005年有很多这样的工作,在家研究做这个东西,不。
最后我再讲讲这个porn surface reconstruction,porn surface reconstruction这个东西呢,其实现在就这个东西是steve的。
但是还有很多版本有swing的这种of construction paper呢,它涵盖了其实是蛮多蛮多东西的对吧,the mission就是一个fmal区别嗯,怎么来的呢,怎么来的。
就是说呃很多感觉并用,第一呢就是说这个po这个东西就是它是pture preserving的啊,啊呃比如说在graphics时候或者是vision里面有有很多工作。
比如说papl match editing,对吧啊对吧,做空了,做过做过做过这方面工作,在更更早一点,在image space里面有通image对吧,是什么呢,它是一种更好的飞艇的办法。
就是说你给定一个点啊,给定一个破那个normal啊,一个怎么说呢,它是一个更好的setting的approach,它实际上就是说啊就就是说他不是说真的去查的那个normal,你比如说像我们刚才说的。
你沿着normal方向你offset一下carey constrain对吧,他就是说我我实际上是这样的,但是当时就说他是真正用那个那个重建出来那个impression fashion。
他的grain去fib那个normal是正好就是这个normal不一定特别effort,不一定特别精确啊,不一定特别精确对吧,所以男单呢也是solindicate fashion了对吧。
然后呢就是说我给定一堆ora这种外号,对不对啊,这个这个normal,比如说你可认可你不要求他特别进军,甚至比如说他有一部分normal是错的,哎这个其实他也是比较鲁莽的啊,就是你可以去。
你如果用用了很多的话,它是真的真的是这样对吧,就是给定一个origin point,然后你要得到一个index,对不对,然后它有一个green relationship。
a relationship between the normal files and green ftoriented the point对吧,然后你要这个indicate gradient对吧。
你的贵一点对吧啊,就是说这个可就是这个这个这个fashion的gradi要跟这个line吧,啊这就是那个constraint对吧,然后那个indicate function还要不要这个自由来说。
set还要positimate这个东西,就是说represent point by va few对对,实际上就是说你fashion eggs with green best policy对吧。
就是说嗯gradient不但要direction partment对吧,你这green发生的地方对吧,那个doolevel set的,你同时还要跟什么跟你对英国的point cloud。
这个point要进食进食啊,说我们实际上做过一些实验,就是什么呢,就是这个pal service reconstruction不是什么,它并不是the accurate real struction。
这个这一点大家要注意啊,就是比如说你重新我们我我我自己也弄过一些算法啊,就是说做重建嗯,就是你这个position surface reconstruction比啊。
它并不是就是那个numerical accurate算法,为什么,因为他要fit normal对吧,但这并不是说你真的记得这个b说point to point这种diss对吧。
但是cocb construction呢,他第一个就是首先首先就是mia它的一个非常重要的sc对吧,大家都大家用它比较鲁莽对吧,同时呢结果呢相对来说就是从visual里看啊啊他是非常好。
但配置为这个事情啊,大家要注意这个东西啊,怎么来的呢,实际上就是说呃实际上解一个division offer,你要你要干这个东西,它这个东西的解释什么呢,实际上就是说你求一个diversions对吧。
跟这个diversions的这个green division它非要一样,实际上就是拉普拉斯这个indicate fashion的拉普拉斯啊,他要跟这个normal grade要一样。
截一个linux system,这个东西其实非要解释这个东西呢,也不是mission farm,就是至少这个po的这套framework啊,它不是不是文章呃,主要的啊就是这个破松的这个boss。
前面我刚才提到了,有两个文章,他用了pslation去做别的东西,tation怎么实现这个id啊,这是这篇文章fmental的一个共性啊,fundamental的一个贡献啊,就是说啊他其实用了很多思想。
比如说alt对吧,og在前面我们知道mt level partition,unity用到了对吧,然后这个呃就是说你要defined black fd对吧。
就是说他这个f写这个indicate function,然后最后也extract iso surface是吧,实际上这个integrate function就是一个区区的对吧。
它实际上前面这部分做的一件事情,还是我们刚才所有的文章都在做一件事情,就是说给定a点以前的法向对吧,我怎么来算这个win precisection对吧,这是我们要干的。
第一个就是set up our去对吧,就是我我一定点,然后我用我用我用all去去做一些这个呃,做一些那个呃,呃对不对,就是说点那个点多的地方,我上外的比较深一点对吧,这up blog。
就是computer verfield,实际上就是说实际上说白了就是说你就是你放一个这个这个,fal space对吧。
就是你你这个pression或者或者是说你这个呃这个这个very confield对吧,你怎么把它变成变成一个连续的reaction field对吧,使得你这个implicy gradient来计算吧。
就是做一些lion的抵抗了一个faccial space对吧,这个final space它是比如说他就是说给定一些点对吧,我就可以定义出啊,这个上面我可以定义出每个cell的,比如说他这个vfd对吧。
定义出每个cl的mac field,那实际上就是说用这个去呢对对这个点做这个input的,做了一个重排样,做了一个重感样,然后就是我们max cel我就放了一个外地对吧。
computer diversions嘛对吧,computer diversions,然后我就说每个cell呢,我的你是mac的那个what time项目的定义了一个一个对吧。
这个时候我就写一个linear system对吧,就是解一个就from post equation,解一个linux system那个post equation对吧,说白了他work的好啊。
真的跟这个on tre是怎么set up非常有关系啊,就比如说奥奇,他最近也有很多应用对吧,你比如说你可以用在这个,你可以用在这个呃呃深入的题目model上面,对深入t model上面对吧。
model for the post equation是吧,你最后一extract their iso surface对吧,有了这个东西可以extract their iso surface啊。
这个具体是怎么做的,这个东西怎么define的这个东西啊,我就不我也没时间讲啊,我也没时间讲,因为时间的关系啊,我从另外一个角度跟大家探讨一下这个问题,就是五不用out tre对吧。
那就是你每个cell对吧,你空间中的regular read,每个cell会有一个那个词,对不对,都会有一个值对吧,会有个字,那这个时候很多时期是没用的对吧,为什么all去呢。
就是说你最后还是想重建出来这个这个就是你只对那个什么,你直接这些呃input的点周围的这些点管用对吧啊,关心对吧,那这个时候呢奥区就能帮帮你,对我就是点多的地方对吧。
你这个这个这个这个increased fection,它就能越复杂对吧,比如说你有以及这个地方没有点对吧,那这个时候他是二区就非常什么,就就他他的shell就非常大对吧,这个时候你会发现什么啊。
如果比如说我我比这个sc位当然在网上了,你就说你有有一个点语音对吧,你你可以找一个你想个办法把点云的一些点给扣掉,然后你去装那个sos,你会发现什么,他他会把那个中间的那位他被mooth。
这是mooth这样哈,原因就是原因就是那个地方效果会非常大非常大,就是这个东西为什么握手好,跟这个all去的data structure非常非常有关系是吧。
有关系啊,就是说对吧,就是,对吧,他是非常非常非常那个对吧,trintro reconstruction对吧,就是它是一种harris的东西啊,他那个算法那个写那个颇松的那个东西也非常鲁莽啊。
也非常搞了一些adapted的算法去填那个破松嘛对吧,好多时候呢你也不能说那个东西一定收敛了,但是就是说他这个他这个functional的这种表示啊。
相对来说他有带一点卡池的意思在里面,就是说你即使那个linux system对吧,因为它是一种itering ser嘛。
没有完全收敛,解出来的结果也是非常好的啊,也是非常好的,就是这个这个非常非常very very good的呃,引擎面,而且实际上他normal如果不是那么精确的话,这个work也挺好的啊。
基本上你可以对吧,你可以有这些东西非常非常好的对吧,也也比较scalable,来他后面这个工作,后面他也做了很多非常非常多的extensions,非常非常多的expansions,comparison。
你看power quest,我没时间想这种competition的小米的办法,但是你会发现就是当你noise的时候,然后非常的什么就是重建,非常noisy对,然后psv卡12小时基本上是是最。
就是因为你因为其实就是visually是最好的,visually实际上是最好的结果,这是我们前面讲的那个vn metric reconstruction,就是因为你fit normal。
它的出来的这个结果非常实木啊,这就是那个颇松的东西啊,颇松与考核心的思想,就是说写一个去feat那个那个那implicit representation对吧。
然后我还有一些neural e这些东西我没时间讲啊,然后我们后面做那个就讲那个increment representation的时候,我们会cover这些东西,呃再简单的跟大家提一提好吧。
就是刚才刚才有个学生提到了对吧,这个marching cube这个算法啊,就是说因为你的所有的那个我太边上了,他说效果不是很很好对吧,然后有一些有一类算法叫do method对吧,他能。
帮助我们解解决这个问题啊,就是这个do much duping water in this s,and what is in great s,实际上他就说我不让这些点对吧,在那个edge上面。
我让他在每个cell里面,这样的话就能更好的去什么更好去moto shop edge,也能也能让让让东西更regular啊,这是巨涛啊,嗯那个washington flow也是提出一个东西。
这个还是很pop的啊,啊最近也有那个呃其实怎么做deep learning嘛,就是或者或者说白了其实说白了就是呃在这一步我首先声明一下,不是做那个呃implicit record structure。
我是说给定了那个给定,比如说给定的cell上面的这些这些呃,我怎么得到一个更好的mesh,做的是这个东西,简单的讲一讲,简单的讲一讲,就是说呃我这个我tx的呃,弄到这个edge上面。
把它弄到那个笑的里面对吧,在里面对吧,然后这样的话呢它就能更更那个呃好的去control那个呃the shape,对不对。
然后同时你这个点也也也能play到什么place sharp edge shop shop上面,对不对,当然它不如那个mochi q5 ,相对来说呃,那么就是那么simple吧对吧。
但有一些buddy的我们需要去去啊,to handle啊,你记住一个核心的思想,就是要那啊就是这个这个我太子在shell里面啊,对,ok,然后然后我简单讲它实际上也基本上是这个呃。
它有一种duality在里面对吧,就是说你比如说motion q cube的思想对吧,然后那个dual countering呢最好是一种dual的关系对吧,但是,duo的关系。
duo的关系的话相对来说就是有了duo的以后,你可以更好的去对吧,你可以去optimize那个what tex position,我想想啊,这个东西我没时间讲,但是我就想给大家讲。
做第一你要知道就是我觉得第一比较重要的啊,你要知道他存在啊,就dual countering对吧,就是mesh reconstruction,不仅仅只有这个mochi tie一个思想对吧。
嗯还有dual country里另外一种很重要的思想啊,这是非常重要的啊,就是呃第二呢其实就是各有优势吧对吧,就是marching cube,就是always manifold,对不对。
就是required,但是他是record look up table right,就是说它的这个face quality不是很好对吧,do me,就是你没法green tea的many home。
说能签为自better sha,better shift polly感对吧,better shift polly感,对不对哈哈,比如说比较interesting,就是你怎么把两者结合在一起对吧。
哎就比如说首先就counter对吧,千瑞,然后看看那些地方不是manio,对不对,把那些地方用motion cube的时间补一下对吧,哎这都是ble solution啊,今天我就讲到这好吧。
然后呃下一节课我们会有一些这个作业出来啊,会有一些作业出来啊,这节课呢我讲了很多很多的东西,有的东西我重点讲了一下,有的东西我就一笔带过了啊,但是flash我是有的啊。
简单解释一下这个算的具体实际上嗯是什么东西,比如说dual啊,就是说dity是什么东西呢,就是说就一个点,那是duo是什么,在平面里面duo是一个nn,这个九是哪来的呢,就比如说或者说什么999点呢。
比如说,全国的match对不对,然后你把全国的match的每个face里面呢都变成一个what太,然后这个我太不用我太相连,但就紧张,这两个废纸是相交的对吧,你就会得到另外一个dual match对吧。
就是说你每个点就变成了对比,就是的点就变成一个face edge edge对吧,face就是,那个one motion的时候,我们也会牵涉到一些这个呃,牵涉到一些自动解压力的东西出现,就讲到这好吧。
然后下节课再再见啊。