进入Computer Vision领域以来,很久之前就有个想法,能否给计算机一幅照片,计算机能够自动的描述图像中的内容,甚至图像中的人物以及正在发生的事情。就像是咱们小时候的看图作文似的。
自己也思考了很长时间,没有好的思路,里面涉及很多基本的问题没有被解决,像是Image Segmentation、Object Detection、Action Classification、Scene Classification以及NLP的一些问题。设计到的问题太多了。
但是现在已经有文章开始做相关工作了,下面分别描述一下。
第一篇是CMU的小牛Abhinav Gupta同学的CVPR2009的Oral,其实做的视频里的东西。
Understanding Videos, Constructing Plots – Learning a Visually Grounded Storyline Model from Annotated Videos
Abhinav Gupta, Praveen Srinivasan, Jianbo Shi and Larry S. Davis
In CVPR 2009 (Oral) (PPT)
这篇文章是通过AND-OR的图模型来叙述视频里面正在发生的运动的各个动作,包括击球、接球、扔球等。因为视频里面含有更多的信息,所以做起来也相对容易一下。
————–
第二篇是UIUC的Ali Farhadi写的,发在ECCV2010的poster。
Every Picture Tells a Story: Generating Sentences for Images
Ali Farhadi, Mohsen Hejrati, Amin Sadeghi, Peter Young, Cyrus Rashtchian, Julia Hockenmaier, David Forsyth
In proceedings of European conference on Computer Vision
(ECCV’10), 2010.
大体内容是通过建立图像到已经人工标记的句子的连线,来给图像标注句子。其实是图像标注的改进版。
Ali新发的一篇文章在CVPR2011上,论文竟然11.73M,也不压缩下,呵呵。是:
Recognition using Visual Phrases
Amin Sadeghi, Ali Farhadi
In proceedings of IEEE Conference on Computer Vision and Pattern Recognition
(CVPR’11), 2011.
大体看了一下,想法不错,还是集成组合多种元素进行识别的。
—-
再一篇文章是UCLA的I2T项目,是Song-Chun Zhu的学生写的:
Benjamin Yao, Xiong Yang, Liang Lin, Mun Wai Lee and Song-Chun Zhu I2T: Image Parsing to Text Description, Proceedings of IEEE (invited for the special issue on Internet Vision) [pdf].
通过上图就可以看出此项目其实还是一种常规的解决方法,每个基础领域都会涉及,用的现有技术,组合起来。有庞大的数据库,有很多元素数据作为基础依托。项目可以参考。