基于显著性景深的内容敏感自动图像缩放系统

1.1研究背景和意义 6
1.2研究目标 9
1.3相关工作综述 10
1.3.1 Seam Carving算法 10
1.3.2 内容敏感图像缩放 12
1.3.3 显著性计算 13
2 本文方法 14
2.1边界型显著性景深计算 14
2.2非显著区域结构保持 17
2.3本文算法 19
3 实验与分析 20
3.1与经典算法对比 20
3.2能量函数分析 22
3.3用户评价分析 23
4讨论与总结 26
4.1总结 26
4.2主要贡献 27
4.3未来研究方向 27
：随着手机、数码相机等设备的普及，人们无时无刻不在用照片记录生活中的一点一滴。然而，不同显示设备（手机、Pad、电视、网页等）会导致照片内容为了适应屏幕的纵横比产生严重的失真（拉伸、压缩或扭曲）。本研究针对这一问题，提出基于显著性景深特征的内容敏感图像自动缩放算法。图像显著性特征可以保证图像重要信息、重要区域内容不丢失；基于边缘模糊特性的景深估计算法能够提高图像结构信息的完整性。现有缩放技术在图像缩放时会出现丢失重要信息，物体边缘扭曲, 图像结构信息不完整等问题。本研究结合心理学相关理论，改进传统区域显著性计算方法并且引入非显著区域结构信息保持的概念。利用稀疏学习算法对于图像（轻微）模糊特性估算得到模糊字典提出图像结构描述子并以此辅助显著性计算能够在保持显著信息、边缘完整的同时, 有效减少结构信息的丢失或损坏, 使缩放后的图像更符合人们的视觉体验。采用本研究提出的算法建立内容敏感图像自动缩放原型系统，能够快速、便捷的将目标图像根据现实设备的尺寸自动完成缩放。
关键字：图像缩放，边缘敏感，显著性计算，景深计算，Seam Carving
1前言
1.1研究背景和意义
随着越来越多的图像获取设备的出现，电子图像的种类和数量随着人们的使用呈指数级增长。不同电子现实设备（如手机、电视、电脑、电影荧幕和投影仪等）使得图像常常需要在不同尺寸大小和分辨率的设备上进行现实。通用电子图像在拍摄完成后，其分辨率和纵横比不能随着显示设备的尺寸自动改变。在显示时，不同尺寸中切换会导致图像被严重的拉伸或者压缩，从而影响图像的正常视觉体验和图像信息丢失。如图1所示，同一幅风景画在ipad、smartphone和电脑宽屏显示器显示时，呈现方式和传达给用户的感觉完全不同：在smartphone中天空比例过大导致图像构图不合理；在宽屏显示器中湖面信息被大幅度缩减影响视觉感受。

图像缩放是为了改变图像的大小及横纵比而进行的增加或者删减像素的操作。图像缩放的目标是通过增减像素，尽量减少图像和原图间由于尺寸的改变而造成的观感的差异，使缩放后的图像也能准确的表达原图所能传递的信息。
传统图像缩放方法包括线性尺度缩放（Scale）、剪裁缩放（Crop）、像素缩放（Pixel）和最优缩放（Optimal）[1]。其中Scale方法采用等比例缩放拉伸原理，易造成图像因为比例变化大而产生主要目标被压缩或拉宽；Crop方法通过裁剪图像的外围部分确保图像中央部分的内容，如果被裁剪图片的重要信息分布在图片一侧，该方法会产生严重信息丢失现象；Pixel算法和Optimal算法采用基于单个像素重要性完成缩放，由于像素无法体现图像整体特征，该方法不可避免的会产生噪点，锯齿波等缺陷，见图2。

除此以外，知名商业修图软件Photoshop（PS）也针对这一问题，新增了内容敏感裁剪操作：Content-aware Scale（CAS），见图3。从图中可以看出CAS没有识别出图片中的重要信息-亭子，缩放后亭子与岸边柳树的比例被严重破坏了。本研究针对图像缩放技术进行研究。在现有前言研究的基础上，引入了边缘敏感的显著性计算和景深计算，提高了图像缩放的效果。