deepfashion2

main idea
这篇文章提出了一个新的数据集，是在原有的数据集上进行扩充的，包含491k的images，每张图片都包含丰富的语义标注，包括 style,scale,occlusion,zooming,viewpoint,bounding box,dense landmarks and pose.pixel-level masks.pair of image.
这篇章提出了一个benchmark，包含多个任务的，必去fashion understanding，including clothing detection，landmark，pose estimation。clothes segmentation，consumer-to-shop，verifacation and retrieval。
abstract

• deepfashion的缺陷 1 每张图片只有一个衣服2 稀疏的landmark 3，没有逐像素的标记

• deepfashion2的四个任务 cloth detection、pose estimation、 segmentation、 retrieval

• rich annotation 这个数据集比AIfashion还要大，有801k items，style，scale，viewpoint，occlushion，bounding box，dence landmarks，mask。

• strong baseline match R-CNN，是在mask R-CNN的基础上建立 的网络，使用一种端到端的方法解决了以上的四个任务introduction

• the chanllenge of image understanding：large deformation、occlusion、discrepancies of cloth

• three main contribution
  1 建立一个large scale fashion benchmark with comprehensive task and annocation
  2 a full spectrum of task is carefully define on the dataset
  3 extensively evalute mask r-cnn，aggregate all the lead feature from clothes category，pose，and mask；
  related work

• clothes dataset：WIBI，DARN，CCP，deepfashion，包含801k的instance of landmark，mask，bounding box，491k的images，873pair

• fashion image understanding
  需要一个统一的基准和框架来考虑这些任务，deepfashion2和match R-CNN考虑服装的variations，scale，occlusion，zoom-in，viewpoint来instance-level retrieval将人体姿态估计运用到服装估计
  deep fashion2 dataset and benchmark

• four unique characteristic compared to exiting fashion dataset
  1 large sample
  2 versality (fashion clothes understanding)
  3 expresivety (多个items展示再一张图上，13种defination of landmarks and pose for
  13 category
  4 diverty control their variation in term of four properties including scale，occlusion，zoom in

• data collection and cleaning
  1 deep fashion主要来自deepfashion1和一些shopping websites或者crawl a large set of image on Internet
  2 variation：包括scale，occlusion、zoom-in，（一些item outside the image）就是啊，百分之七的没有人，78%正面穿，其他的从侧面或者背后穿。
  3 data labeling
  4 category and bounding box
  5 mask generate mask from contours and human annotators
  6style

• benchmark
  包括四个
  clothes detection
  landmark estimation
  segmentation
  commercial -consumer clothes retrieval
  match r-cnn
  如下如所示
  通过使用不同的流，并且在这些流上叠加一个Siamese 模块来聚合所学习的特征。
  
  
  实验结果
  clothes detection
  
  landmark estimate
  
  clothes segmentation