文献阅读2020.10.18

周小结2020.10.18

1.文献阅读
（1）可计算的图像美学分类与评估（王伟凝,蚁静缄,徐向民,王励. 可计算的图像美学分类与评估[J]. 计算机辅助设计与图形学学报,2014,26(07):1075-1083.）、（2）基于图像分类的图像美学评价研究（高寒. 基于图像分类的图像美学评价研究[D].哈尔滨工业大学,2013.）、（3）NIMA: Neural Image Assessment.（Talebi Hossein, Milanfar Peyman. NIMA: Neural Image Assessment.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2018）。
针对第一篇：
解决的问题：①建立美感等级分类模型自动将图像分为高美感和低美感两类。
②建立图像美感分数评估模型，自动给出图像美感的具体分数。
核心思路：①通过显著区域检测将图像划分成整体区域和关键区域，提取有效的低层视觉特征、高层美学特征和区域特征；②以人对图像的主观美感评分为基础，采用ML的方法建立图像美感等级分类器和美学分数评估模型，实现高、低美学图像的自动分类，并能对图像的美学分数自动评估。
创新点：①对图像提取了更多维的特征向量；②对PC复杂度、IC复杂度等计算方式进行改进③在计算机低层视觉特征的基础上，引进高层美学特征，有效描述图像，更符合人的感知。
不足：①应对不同主题的图像进行分类研究，提升其评价的准确度；②增加除图像主体外的一切外在因素综合考虑，可能会提升准确率。
借鉴点：①考虑相对更多维、更全面的图像信息，进行美感评估与描述；②对不同主体图像进行针对性美学分析，提高准确率；③结合图像情感、语义等因素对图像美感进行综合分析；④可在手机上搭建美感分析评价系统，用于指导业余摄影者摄影以及照片的自动筛选。
针对第二篇：
解决的问题：建议用于图像审美的图像预分类方法和图像审美系统
核心思路：分析现有的图像审美特征的着重点，建立图像审美的预分类方法，建立有效的审美特征，通过已标签数据进行数据训练，计算各审美特征的权值，建立先分类后审美的系统
创新点：①寻找图像类别与审美规则之间的关系，建立新的图像审美方式；②基于图像内容将图像进行分类，提取和构造适合图像审美特征且能帮助图像审美评价的分类方法。
不足：①分类评价指数中的“查全率”较低—>一部分用户认为审美价值较高的图像未被系统识别；②图像分类方法设计的不够人性化和精细；③图像好坏的分类标准确定的不够细致，且“好”“坏”标签需人工分类完成
借鉴点：①根据不同主题图像分类研究；②在分类、审美评审中多需考虑除图像本身之外，情感等因素对最终结果的影响。
针对第三篇：
解决的问题：提出了一种先进的深度目标识别网络，该网络评估的图像不仅与人的感知密切相关，而且可以改进和优化图像的编辑于图像增强，且无需“黄金”参考图像，便能对图像进行评估。
核心思路：提出质量和美学预测器（基于图像让分类体系），使用VGG16、Inception-v2、MobileNet三种不同的分类体系，用于图像质量评估，并将基准CNN的最后一层替换为仅有10个神经元的全连接层，并用soft-max用于激活。为AVA、TID2013和LIVE训练独立的美学和技术质量评估模型用于图像评估且进行跨数据集评估。通过多层拉普拉斯算法进行图像增强，Turbo去噪用于提高降噪能力。
创新点：①使用CNN预测人类意见得分的分布（而非平均得分）；②生成的网络不仅可对图像评分，而且可对照片进行调整优化；③跨数据集评估
不足：实验设置要求对增强算子进行多次评估，限制了实时性
借鉴点:①将经过训练的模型应用于其他图像增强的应用程序中；②预测分数且其分布情况，更直观；③跨数据集评估
2.针对看到和学到的东西，你的想法或者计划创新之处
目前在图像方面的研究更多是基于有监督的图像质量评估，且效果日趋完善甚至达到近饱和程度，但是对于无监督的图像质量方面的研究也在如火如荼地进行中，相较而言，基于无监督的无参考图像质量评估会是接下来可能会重点涉及的方面。在图像研究过程中，对于所需处理的图像进行细致的划分，比如分成自然图像、其他图像等相似的分类方法，基于不同的分类方法进行有针对性的模型的训练将会对于基于的预测产生更好的效果。①从文献中可以获知，目前对于新媒体数据内容图形数据库方面的无参考图像质量评估研究还相对较少，未来这会不会是一大发展趋势？②还有就是Transformer依赖注意力机制，进行并行化的语言处理，从而有更好的效果的模型在CV方面会产生什么样的实际效果；以及ViT模型所衍生的一些策略、性能是否能更好解决CV方面甚至针对图像领域会有如作为？