archiva项目又是没有动过,课外书如果不是今天莫名其妙熬夜,也差不多没有看。。。本周真是过得快。。。总结一下下我肯定会忘记的东西。。。:
一。重新看了看mpeg4的大纲。
1。mpeg4希望建立起一个multimedia的系统,同时包括local的和remote的,类似于现今的文件系统,既然是文件系统,自然要定义一下系统方式,也就是DMIF network interface(DNI)。 DNI同学不过是一个定义了的接口,做事情的同学是TransMux Layer,这个同学比较任性,只要做的成事情,随便怎么做都可以,他通常使用的工具是UDP/IP, MEPG2 TS, AAL2 ATM, H223 PSTN等等。
2。既然号称multimedia了,那么自然包罗万象。video,text,audio,speech,2D/3D image全有了。这些在以前标准里面担任主角的同学们都降了一个档次,被通称为object了,管理他们的是一个叫Scene description的老大。Scene description很牛,作为文本文件的他可以单独占用一个流。听说这样可以方便他拍用户和制作人员的马屁,让他们直接修改那些明星object的属性。
3。audio同学在我看的文档里面似乎没有什么进步,还是AAC,还有一个我不知道的TwinVQ。现在听说AAC集团新加入了AAC plus,用了超级先进的***bond技术(忘记了),码率大减。而speech就是HVXC和CELP,唉,又是我不太懂的东西,不过最先进的应该是WMA,去年才出来的。在人造声音方面,先是TTS的codec,mpeg4对于人工智能自然懒的多研究,定义了一个接口(TTSI)了事。然后就是structured audio了(比如著名的midi),但是mpeg4里面当然不能叫做midi啦,所以用了比midi全面和通用的SAOL和SASL作为接口。
4。imgae和animation部分作为video的一个子集也入了标准,包括了2d/3d Mesh+texture,脸部和身体动画,对于Mesh的压缩似乎利用偏移向量和affine矩阵,texture用了可爱的wavelet(天生具有scalability的好东西,可惜对于video的压缩率不够,值得研究啊),人脸不懂,貌似定义了一些预定动作和与声音同步的方式;身体也就和3d的mesh差不多啦。。。
5。video是我的最爱啊,这次严重考虑了网络传输时候的robust,搞出了很多回复和定位的方法,比较有创意的是把运动向量和dct系数分的很开了,RVLC也终于入了mpeg。
6。还有要记录的的就是著名的fine grain scalablity技术,不过现在大家都应该知道了吧。。。
二。2个关于video segment的paper。
第一篇是完全看不懂的数学,我看至关键部分很欢畅的放弃了。。。提一下paper的title:robost Segmentation and Tracking of Colored Objects in Video (IEEE Trans. on cCRICUITS AND SYSTEMS FOR VIDEO TECH. 2004).
第二个我貌似懂过的,但是现在又不太懂了,在看了一眼回忆了大概,貌似是用KMCC做出第一个frame的segment(输入是CIEL空间的颜色,避免luma的影响),然后自己设计了启发式的trace方法去trace接下去每一个frame的segment(比较搞,用了bayes分类),和别人不一样的是,他没有先组合segment成object,而是trace完了才干的,据他说效果不错。组合的算法也号称独创,独创往往意味着启发式。。。大家心照:)。 贴一下title:Video Ojbect Segmentation Using Bayes -Based Temporal Trracking and Trajectory-Based Region Merging(IEEE Trans. on cCRICUITS AND SYSTEMS FOR VIDEO TECH.2004).
两个paper其实和我的research毫无关系啊,白白看了一个晚上。。。
嗯。其他的,忘了就忘了吧。。。。