图像美学质量评估相关论文简介

原文链接地址：http://blog.csdn.net/u013854886/article/details/38425669
图像美学质量评估（Image AestheticQuality Assessment）是计算机视觉领域的研究热点之一，该课题尝试提出一种算法，使得计算机能够判断图片的“美丑”，这一点与以往只关注于测算图像失真程度的图像质量评估（Image QualityAssessment）有很大不同。由于人在判断图片的美丑时的主观性较强，且判定规则难以准确量化描述，这给我们的研究带来了不少麻烦。

这里罗列了一些与图像美学质量评估相关的不错的论文，总结重点如下：

1.Datta：这篇论文考虑了很多东西，底层的像颜色、纹理、形状、图片大小，高层的像景深、三分法则、区域对比度(用分割算法把图像分割成若干部分，计算区域间的对比度等)；其构造的特征一般比较非常简单低级，如仅用中心区域的HSV平均分量表示三分法则特征；

全体特征共56维；(理论依据：作者直接说了是直觉。。。)

R.Datta, D. Joshi, J. Li, and J. Z. Wang. Studying aesthetics in photographicimages using a computational approach. In ECCV, pages 288–301. Springer, 2006.

2.Yan Ke：该论文构造的特征很少（才7维），基本都是有高层语义的，描述了：图片简洁性、清晰度、颜色、对比度、平均亮度(曝光度)等；特征虽然数量少但还是很有效的；这篇文章告诉我们可以从一些摄影学知识入手构造有高层语义的特征；

Y.Ke, X. Tang, and F. Jing. The design of high-level features for photo qualityassessment. In CVPR, pages 419–426. IEEE,2006.

3.Luo and Tang：这篇文章觉得应该把前景和背景先分离，然后把前-背景对比度作为重要特征，它用的特征更少，才5维，包括清晰度对比度，亮度对比度，颜色的简洁性、和谐度，三分法则的符合程度；这篇文章中称在其构建的数据集上能够完虐Datta、Yan Ke，不过对此表示有所怀疑（至少其提取前景的方法这点觉得就不太对劲），文章的思想可以略微参考一下；

Y.Luo and X. Tang. Photo and video quality evaluation: Focusing on the subject.In ECCV, pages 386–399. Springer 2008.

4.Wong：和Luo的思想差不多，但是提取前景用了Saliency显著度的方法，而且不像Luo仅仅使用了5维特征而且基本都是描述前景背景关系的，融合了Datta和Yan Ke的一些特征，总体构造的特征风格依旧比较简单（这点和Datta比较像）；

L.-K. Wong and K.-L. Low. Saliency-enhanced image aesthetics class prediction. In ICIP, pages 997–1000.IEEE, 2009.

5.Balance：和以上两篇文章思想差不多，利用显著度检测前景(对于有明确前景的图片而言)或者利用地平线检测法(对于风景而言)，然后运用三分法则、或视觉平衡原则判断图片美学质量，还能根据这些规则设法修复增强图像的美感(算是一个应用文章吧)；

S. Bhattacharya, R. Sukthankar and M. Shah, “A framework for photo-quality assessment and enhancement based on visual aesthetics”, TOMCCAP.ACM, 2011.

6.Harmony：把颜色作为主要出发点，提取局部颜色描述子，然后构造直方图(跟sift的使用方法差不多)，然后分类，这种特征结合其他像清晰度、边缘分布、显著度等特征会达到不错的效果；（实际上虽然作者煞费苦心构造局部颜色描述子，并把这个作为论文的主要出发点，但我觉得其局部颜色描述子并没有发挥主导作用，仅仅和下面文章SIFT Aesth用的很简单的局部颜色描述子达到了接近的效果）

M. Nishiyama, T. Okabe, andY. Sato. Aesthetic qualityclassification of photographs basedon color harmony.In CVPR, 2011.

7.SIFT Aesth：这人直接拿SIFT(BOV或者FisherVector)和局部颜色描述子来进行美学图像分类，效果还不错，不过理论依据不强就是了；

L. Marchesotti, F. Perronnin,D. Larlus, and G. Csurka. Assessing the aesthetic quality of photographs usinggeneric image descriptors. InICCV, pages 1784–1791. IEEE, 2011.

至此，大家在构造特征的出发点上都差不多了，之所以美学质量评估还那么难做，就是我们构造的特征不能很好的符合我们的愿景（比如一个颜色简洁度特征真的就能指认出图片的颜色是否简洁吗，或者说符合这个特征所定义的简洁的图片一定是美图吗？）

总的来说，图像美学质量评估的主流方法目前在与设计特征（hand-craft feature），再结合有效的学习算法如SVM等。现在机器学习领域中Deep Learning正在不断崛起，且其对人工设计图像特征的依赖度不高，利用Deep Learning进行美学质量评估应该是一个不错的研究方向。