红外行人检测HOG+SVM（5）—— 如何根据自己的数据集分析和优化模型

当前状态：

• 算法使用HOG+SVM对检测的结果进行了二分类。算法选择上：运动目标建模形成切片+HOG-SVM二分类
• 训练集：正样本为400m左右的行人251张，负样本100张为检测里面的其他部分，包括误检等
• 验证集：92张正样本，109张负样本
  • 当前唯一实现是：训练集和验证集是绝对的不重合，不存在重叠元素。且来自同一分布。分别从相同场景下提取的前景目标。
  • 最大问题是：数据量过小，明显的训练集过拟合了，模型泛化能力不行。
  • 最大问题：验证集的设计太小，且不合理。

• 吴恩达深度学习中表明：数据量<1W的，Train/Dev/Test的比例在60%、20%、20%，即6K训练集，2k验证集和2k测试集。
• Train和Dev，Test的数据源于同一分布。即将所有的数据重新洗牌，放入验证集和测试集。
• 基于大量数据的简单模型 > 基于少量数据的复杂模型
• 更多的数据 胜于 聪明的算法
• 好的数据 胜于 多的数据

• 数据集数据量不够是一个比较大的问题，有哪些办法可以解决呢？​​
  • （1）多采集一些数据量
  • （2）去公开的红外数据集爬取一些可用的数据集
  • （3）利用别的数据集来训练，用自己的数据集测试。也许迁移学习是可以的哦？？？当然保持训练集和验证集分布一致是最好的了。
• 如果已经获得了足够的数据，又该怎么办呢？进行模型优化四部曲
  • （1）训练集指标：过拟合 or 欠拟合？
  • （2）验证集指标：泛化能力不好？增大训练集的正则化？增大训练集的样本数？
  • （3）测试集指标：泛化能力不好，验证集数据增加，或者...
  • （4）Real Life表现：回去改变验证集或代价函数。

2.其他的一些疑问 

• （1）把验证集里面不通过的hard example直接丢进训练集再训练一遍？
  • 嘿，这不是自欺欺人嘛。选择验证集的目的就是为了测试算法效果，你这样的话还用验证集有什么用呢？不就没用了嘛。所以大多数比赛的测试集都是不公开的啊！
• （2）更多的数据 > 聪明的算法，好的数据 > 多的数据
  • 对于红外数据而言，数据冗余是否是一个问题？因为本来目标就小，姿态什么的多样性就比较少！一个人换来换去就那几个姿势和形态，都放进去吗？会不会数据冗余？
    • 这个应该就属于是否是好的数据了，如果冗余的数据不多的话，那么就会是好的数据！
  • 那怎么能够具有区分性呢？现在是靠hog去提取行人的特征，提取到的特征到底是怎么样的，也没有去看？

3. 红外数据集

https://blog.csdn.net/hunnzi/article/details/103445059

（1）KAIST——用于行人检测任务

• 双光系统，长波红外+可见光。长波红外相机：320*256像素，FLIR-A35。可见光相机：640*480，帧率20fps。
• 75%的行人输入Medium尺度，在[40,128]pixel；10.38%的行人<20pixel;13.67%的行人>128pixel
• 有四种标签：person（好分辨）；people（难分辨）；cyclist（骑车的人）；person？（人工不能分辨）。
• 共计95,328个可见光-红外图像对，总数为103,128个标注，1182个人。

获取地址：https://blog.csdn.net/Lcd_2018_7_18/article/details/103064150 

1. 红外数据集

• RGB-NIR Scene Dataset （包含9类RGB和近红外图片）  https://ivrl.epfl.ch/research-2/research-downloads/supplementary_material-cvpr11-index-html/
• OTCBVS Benchmark Dataset Collection （多种任务红外图像数据库）http://vcipl-okstate.org/pbvs/bench/
• CVC-14（行人检测任务远红外数据库） http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/

http://vcipl-okstate.org/pbvs/bench/ OTCBVS数据集里面有用的部分

Dataset 01: OSU Thermal Pedestrian Database

Topic of Interest:
Person detection in thermal imagery. 热成像行人检测 75mm镜头，8楼的房顶拍摄，10个序列共284张图，8-bit灰度图，360*240像素，有ground-truth的txt以及matlab程序可以画bounding box，不包含遮挡的行人，50%可见的行人才进入ground-truth中

Sensor Details:
Raytheon 300D thermal sensor core
75 mm lens 
Camera mounted on rooftop of 8-story building
Gain/focus on manual control

Data Details:
Pedestrian intersection on the Ohio State University campus
Number of sequences = 10
Total number of images = 284
Format of images = 8-bit grayscale bitmap
Image size = 360 x 240 pixels
Sampling rate = non-uniform, less than 30Hz
Environmental information for each sequence provided in subdirectories
Ground truth provided in subdirectories as list of bounding boxes (with approximately same aspect ratio) around people.
For the ground truth data, we selected only those people that were at least 50% visible in the image (i.e., highly occluded people were not selected).

Dataset 03: OSU Color-Thermal Database

彩色和热成像的双光系统，双光融合的目标检测。红外23mm镜头。6个视频序列共17089张图像，8-bit灰度图，320*240pixe的红外图像。还有跟踪的result的文件。

Fusion of color and thermal imagery,
Fusion-based object detection in color and thermal imagery

Sensor Details:
Thermal Sensor: Raytheon PalmIR 250D, 25 mm lens
Color Sensor: Sony TRV87 Handycam

Cameras mounted adjacent to each other on tripod at two locations approximately 3 stories above ground
Gain/focus on manual control

Data Details:
Busy pathway intersections on the Ohio State University campus
Number of color/thermal sequences = 6 (3 at each location)
Total number of images = 17089
Format of images = Thermal: 8-bit grayscale bitmap, Color: 24-bit color bitmap
Image size = 320 x 240 pixels
Sampling rate = approx. 30Hz
Color/Thermal images registered using homography with manually-selected points
Files containing tracking results on the dataset are provided by Alex Leykin