【Weather Classification】reading notes

1 Background

天气识别需要学习更多物体和场景表面的光照、反射等复杂现象。且由于天气特征的多样性、多变性和彼此高度依赖的特点，使得课题研究一直极具挑战性

1.1 应用背景

适当延长红绿灯时间，向驾驶员提供一些适当的速度、距离建议，一定程度上避免交通事故的发生（驾驶辅助系统）

自动驾驶、智能监控、智慧交通

通过识别出的天气类别，再进行针对性的图像修复增强操作（一方面是因为固体颗粒会令大气光产生散射，令采集的图像存在模糊和对比度下降的问题，令监控系统产生错误判断；另一方面是因为大型颗粒例如雨滴和雪花，会导致目标物部分或全部被覆盖，造成图像获取信息缺失，导致实时路况的获取产生错误或直接失败）

图像检索、智能机器人、智能安防（场景识别）

1.2 天气特点

晴天

图像整体较为明亮，同时图像的清晰程度和对比度较高，不存在边缘模糊的情况，晴天也存在着路面湿润的情况，也存在暗色背景，然而晴天的前景通常具有明显的反光，能够与雨天区别

雾霾天气对摄像头获取的可见光图像造成的影响主要有三个方面：

• 悬浮液滴反射太阳光导致可见光图像亮度低
• 由于雾霾天气的能见度下降导致可见光场景中远景丢失
• 严重雾霾形成的凝胶状气团导致可见光图像成像模糊

图像整体较暗且偏白，对比度明显较低，模糊程度高

雨天时可见光成像的特征包括：

• 雨滴下落速度快，在图像中会形成线状成像（雨条纹）；
• 由于雨滴体积大，在图像中呈现为亮点。

图像对比度高于雾天，图像背景偏暗，同时前景反光相对于晴天较为不明显

雪天时可见光成像的特征包括：

• 无规律分布的雪花图像，造成严重下降的图像质量

结合了晴天的高亮度和雨天背景偏暗的特征，独特的特征就是背景和前景中分布的白色积雪

1.3 方法分类

来自《多类别天气图像分类算法研究》——王珊

1）基于典型场景或目标特征的天气分类框架

如天空的颜色（不同天气的色彩饱和度），不同天气下建筑和植被等所表现出的边缘轮廓及纹理等（晴天图像色彩饱和度高，建筑植被等具有明显的边缘轮廓特征，雪天会因为雪花对道路植被的覆盖而使得边缘轮廓特征不明显，雾霾天会使得各图像特征都比较模糊）

特征提取相关算法

• 锐度特征-轮廓信息（Sobel）：晴天清晰，雨雾天模糊
• 纹理特征（LBP）：晴天强烈，雨雾天模糊
• 方向梯度特征（HoG）：雨条纹
• 颜色特征（HSV）：晴天颜色鲜艳，雨天颜色较暗
• 饱和对比度特征：可以是 HSV 颜色空间的饱和度，或者是 LCH 颜色空间的饱和度
• 雾度特征（kaiming 大神的去雾论文，暗通道）：雾浓度越低，暗通道图越暗，像素点值越小，雾浓度越高其暗通道图颜色越亮，像素值越大（参考 暗通道）
• 天气指数特征：温度、湿度、风速、拍摄时间

2）基于联合学习的天气分类框架

collaborative learning

局部特征（预处理提取出各类别天气下的特有区域 -> 特征提取） + 全局特征

3）基于深度学习的天气分类框架

1.4 研究的挑战

• 雨天可能由于湿度过大，也是雾天，构建更加接近多类别天气图像库对基于天气图像特征的天气分类算法研究越显必要
• 提取具有辨识度的天气图像特征（不同的天气状况的图像中可能存在相同的目标和特征）
• 场景结构的丰富性导致天气状况的变化在整张图像上呈现的信息较弱
• 为了适应模型，会对图像进行缩小操作，导致丢失大量浅层语义信息，令天气识别效果变差；
• 图像中的天气特征需要结合浅层与高层语义信息进行提取，直接使用分类网络会导致浅层信息的丢失

1.5 常用多类别天气图像库

• 来自论文 《Two-Class Weather Classification》（2014），1W 张图片，5000 张晴天，5000 张阴天。数据集下载地址：https://www.cse.cuhk.edu.hk/leojia/projects/weatherclassify/index.htm
• 来自论文 《Scene-free multi-class weather classification on single images》（2016），2W 图片，晴天、雨天、雪天和雾霾天。数据集下载地址：http://mwidataset.weebly.com/
• 来自论文 《RSCM：Region selection and concurrency model for multi-class weather recognition》（2017），6W 张图片，晴天、阴天、雨天、雪天、雾和雷电。数据集下载地址：http://vcc.szu.edu.cn/research/2017/RSCM.html

根据颜色直方图距离，剔除距离较近的图片

2 Methods

2.1《多类别天气图像分类算法研究》——王珊（2019.5）

作者的方法

1）融合天气图像特征和天气特征的天气图像分类算法

结合基于图像特征天气分类的实时性和基于天气指数特征天气分类（湿度、压强、温度、风向、降雨量、PM2.5）的准确性

提取特雾度特征、包和对比度特征，配合天气特征，进行 SVM 分类

2）提出了基于组套索结构的多任务天气分类算法

group lasso 组套索结构正则化

来自 Lasso 稀疏约束 + Group Lasso 分组最小角回归算法

3） Cyecle-Consistent Adversarial Networks

数据增强，背景更丰富

雷电雪天图片不好采集，数量少，且背景可能比较单一，作者而用 CycleGAN 来进行数据扩充（类别和季节的转换）

2.2《基于CNN和迁移学习的室外天气图像分类研究与应用》——米俊桦（2020.6）

基于分块图像和投票策略的天气图像分类方法（投票机制）

细分类：一级雪天，二级雪天（多任务）

2.3《基于卷积神经网络的天气识别方法研究》——施雨舟（2018.1）

CNN 相比于传统方法，具有自己的优点

• 层级递增结构
• 局部连接属性
• 参数共享机制
• 端到端的结构

通常获取的图像中的天气信息主要是由不同天气情况下大气粒子（固有粒子，悬浮物）的种类、尺寸、形状和分布的浓度进行区分

用 Mask RCNN 先分割（前景+背景+边缘+全体），配合 RoI Pooling 和 fc 分类

边缘是在原图上截取边缘周围10像素的区域作为成体边缘进行输入（图4-6）

通过边界框提取模块，获得小块背景切片

原图+背景+前景+边缘+左边缘+右边缘+上边缘+下边缘（图4-11）

2.4 《基于局部感知的场景图象识别》——张晋（2019.4）

典型的基于手工合成的特征表示方法包括 GIST OTC CENTRIST mCENTRIST

1 基于核心场景子图的场景图像识别

核心场景子图挖掘+双向增强知识空间学习

Object-stacked Network 和 Global Scene Network

2 基于循环记忆注意力机制的场景图像识别

Recurrent Memorized Attention Network，RMAN（首先会关注到很明显的物体，然后再将注意力转移到其他场景目标上面，最后循环记忆以上特征，判断出场景语义所属的类别标签）

图 4.1

特征提取模块+注意力定位模块（核心场景目标进行定位）+循环记忆注意力模块（对注意力特征进行记忆融合并进行分类）

$M_k$ 为周期产生的空间变换矩阵

例如，在一副含有目标类别“新郎”的场景中，我们无法判断这是属于“婚礼现场”还是“婚纱照拍摄”的场景，但是如果加上“新郎”、“伴郎”、“会场”、“来宾” 等场景目标信息，我们很容易判断出图片所属的场景类别

2.5 《基于卷积神经网络的浓雾天气形势图识别与分类方法研究》——刘小明（2018.6）

气象图

1）G-CNN 架构的浓雾智能识别模型

图 3.1

将经 Gabor 预处理的训练集图像及对应的分类编码输入到 CNN-卷积神经网络模型进行训练

2）基于 L-CNN-ELM 模型的浓雾天气形势图识别与分类方法

L 是用 LBP 算法预处理（图4.3）

极限学习机（Extreme Learning Machine，ELM ）用来分类

2.6 《基于卷积神经网络的遥感图像场景分类研究》——姬腾飞（2019.6）

• 低级特征：eg 形状，纹理等
• 中级特征：统计低级特征的出现频率或者对低级特征进行编码得到中级特征，具有代表性的就是 bag of words

1）基于卷积神经网络的遥感图像场景分类
图 3.1

2）基于多尺度残差神经网络的遥感图像场景分类
图 4.7

也就是 inception + resnet

2.7 《基于深度学习的场景图像分类算法研究》——姜轩（2019.5）

1）inception + shortcut + 深度可分离卷积

2）L-softmax

基于 Softmax Loss 学习同类和不同类样本时，学习到的特征的类内和类间的可区分性不强，而 large margin softmax loss 是在学习同类样本时，特意增强了同类学习的难度，这个难度要比非同类的难度大些，这样的区别对待使得特征的可区分性增强

3）多尺度与多分辨率结合

ResNet50 作为低分辨率网络 224×224
Inceptionv3 作为高分辨网络 299×299

基于 CNN 做天气识别的一些文献

• 《Weather classification with deep convolutional neural networks》 2015 （Alex）

• 《Extreme Weather Recognition Using Convolutional Neural Networks》 （GoogleNet）

• 《Weather Classification：A new multi-class dataset，data augmentation approach and comprehensive evaluations of convolutional neural networks》

• 《Two-Class Weather Classification》

• 《Part-stacked cnn for fine-grained visual categorization》

• 《G-MS2F：GoogleNet based Multi-Stage Feature Fusion of Deep CNN for Scene Recognition》

• 《Knowledge Guided Disambiguation for Large Scale Scene Classification with Multi-Resolution CNNs》

【附录】

• 图像分类比赛tricks：“观云识天”人机对抗大赛：机器图像算法赛道-天气识别—百万奖金

• DF机器图像算法赛道-云状识别（天气识别）比赛总结

• Two-class Weather Classification（数据集）

• 《RSCM: Region Selection and Concurrency Model for Multi-class Weather Recognition》