深度学习loss太高怎么办_翻译：基于深度学习和遥感、社会感知数据融合的城市功能区识别...

1. introduction
城市规划的重要性，要进行城市规划需要实现城市功能区识别；城市功能区识别不同于传统的土地利用及土地覆盖分类（LULC)，它关注的是城市各区域的社会经济功能，因此光靠遥感数据是不能准确识别的；包含社会经济属性的社会感知大数据同遥感结合是一个研究趋势，但两者的异步性以及社会感知数据的复杂性对研究造成了困难；为解决多源数据融合进行城市功能区识别的问题，文中提出了一种端到端的基于深度学习的多模型数据融合方法。
论文的contribution主要包括： （1）提出了针对城市功能区识别任务的，端到端的基于深度学习的多模型数据融合方法，可以有效融合多源遥感数据和社会感知数据； （2）提出了两个能有效提取时相特征的神经网络，其一是基于一维卷积神经网络构建的，其二是基于LSTM构建的； （3）为解决遥感数据和社会感知数据异步性的问题，提出了两个专用于多模型网络的loss函数，CMFC( 交叉模型特征一致性)和CMT(交叉模型triplet )，增加了模型的鲁棒性； （4）利用开源数据及做实验验证了本文提出的研究方法的有效性。 2.相关工作
2.1 基于遥感数据的LULC识别：近年来深度学习方法的引入是LULC的一个研究趋势，无论是像素级分类、面向对象分类还是场景级分类。
2.2 基于社会感知数据的城市功能研究：传统的城市功能研究依靠人力调查耗时耗力，随着信息通信大数据技术的发展，社会感知数据驱动的城市功能研究得到发展。
2.3遥感和社会感知数据的融合：近年来，随着带地理位置的信通大数据的涌现，遥感数据和社会感知数据的融合研究成为一种趋势，综述略。3 问题陈述
实际上是一个输入为遥感影像和社会感知数据，输出为预测的城市功能区类型的多分类问题。由于这两种数据存在异步性，还要解决部分数据缺失的问题，使得这个分类模型具有鲁棒性。

4 研究方法
4.1深度多模型融合网络概览：网络主要由三部分组成，包括作为图像编码器的修改过的ResNet网络，作为时域特征编码器的1维SPP-Net和LSTM网络，以及数据融合模块。融合后的数据输入全连接层和softmax层进行预测。训练过程中loss函数在交叉熵的基础上，附加了交叉模型特征一致性loss和交叉模型三重loss，以期提高模型鲁棒性。

4.2图形编码器：ResNet18和ResNet50
4.3时域特征编码器：用1维SPP网络（SPP表示空间金字塔池化）和LSTM网络提取社会感知数据的特征。1维SPP网络的1维池化层可以聚合多规格信息，并能将不同时序长度的数据经由卷积层提取出的特征聚合成固定长度的输特征再输出。LSTM网络由三个叠加的双向LSTM层、最大池化层和全连接层组成，双向机制和叠加设计解决了传统循环神经网络的梯度爆炸问题，提高了对于复杂特征（长时序数据）的提取能力。
4.4融合方法： 为将两种不同形态的数据进行特征级融合，采取三种方法，如图，分别是串联，按元素加，以及按元素最大池化。

4.5损失函数： 为增强模型的鲁棒性，提高分类效果，在交叉熵loss（Lce）的基础上，附加了交叉模型特征一致性loss（Lfc）和交叉模型三重loss（Ltri），如下式：

其中Lfc=：

Ltri=：

应用这个loss函数能够增强同一功能区的图像特征和社会感知数据的一致性、相似性。 5 实验
5.1数据集：百度和西安交大的城区功能分类（URFC)数据集中带有标签的数据，分为9类。其中URFC-A子数据集包含40000组带标签的（高分辨率遥感影像+用户访问数据）数据，而URFC-B子数据集包含400000组带标签的数据。其中多种功能区的遥感影像差别不大，不同功能区的用户访问数据特征则有较明显的区别。
5.2实验准备：实验中用到的所有网络都是用Pytroch框架实现的。两组实验，一组用URFC-A训练，用URFC-B验证；另一组用URFC-B训练，URFC-A作测试。
5.3评价标准：总准确度、Kappa系数、F1得分、时耗。
5.4网络训练：优化器选择Adam，初始学习率为0.0003，每10个epoch下降10%，最大epoch数设置为20. Resnet的初始权重设置为在imgenet上预训练过的resnet的权重。
5.5 多模型数据融合的结果和分析：单独用社会感知数据训练的模型分类效果优于单独用遥感数据训练的模型的分类效果，遥感和社会感知数据融合训练的模型效果最好。同一模型对于不同城市功能区识别效果有显著差别。
5.6 提出的loss函数的消融实验：用控制变量的方法，验证文中提出的两个附加的loss对模型的影响，结果表明对于用社会感知数据和遥感数据融合训练的模型，使用交叉熵loss和两种附加loss训练出的模型比单纯用交叉熵loss或只附加其中一种loss训练的模型效果要好。 6.讨论
6.1 序列认知模型的性能：为证明文中所用的1维SPP模型和LSTM模型有序列认知能力，能够学习到数据的时域特征，作者用SVM/RF/多层感知器同上述两种模型进行了对比实验，实验证明这两种模型有序列感知能力，而其他三种几乎没有序列感知能力，对于乱序的输入和原始输入给出的预测结果几乎相同。
6.2 特征级融合和决策级融合的比较：实验证明特征级融合的模型效果优于决策级融合的模型。
6.3 不同融合方法的比较：使用不同融合方法的特征级融合模型，最终分类效果没有明显区别。

---

原文： Cao R , Tu W , Yang C , et al. Deep learning-based remote and social sensing data fusion for urban region function recognition[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 163:82-97.

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：

FlyAI-AI竞赛服务平台​www.flyai.com