变工况多模态问题

变工况呀多模态啊

目前随着深度学习的深入研究，人工智能的快速发展，单个工况或者模态问题，已经取得了相当大的成果，比如轴承，齿轮的变工况故障检测亦或者是TE过程这类多模态，甚至无人机的目标检测问题都涉及到多模态数据。而针对于解决这一问题的方法近几年也是层出不穷，根据我所知，且分为两个阵营。
一个是试图通过迁移学习来对工况或者模态的检测或分类进行模型或者参数的迁移来简化从一个模态（工况）到另一个的过渡过程，当然这样做也伴随着一些代价，或者说牺牲，就是迁移到新的模态（工况）势必带来检测（分类）精度的下降，但是的确也减少了一些成本的消耗，如新环境下，不需要重新进行模型的训练，只是对源域模型进行微调，以及对于数据量的要求也没有源域那样要求严格（除非有别的需要）。但是目前其迁移还是有一定限制，如异构迁移难度还大于同构迁移，且效果差距不小。源域与目标域的数据MMD距离越小，迁移效果越好等。也是后续需要解决的问题。对于一些同学来说，他的源代码，或者说其开源代码，其实也是一个问题，目前来说，开源代码还是以王晋东版本为经典，当然阅读难度也有一些，需要对迁移学习有一定了解，部分地方也没一般深度学习方法代码易懂，感兴趣的同学可以去github上搜一下。
另一个是通过数据融合，增强模型的泛化能力来解决多模态（变工况）问题，目前来说应用于无人机目标检测方面可能更多一些，相对于变工况问题上，应用较少，但是也有一些文章提及，本人也更倾向于这种方法。先说说他的缺点，首先由于使用数据融合，其训练样本相对更大，训练时间难度相对来说更大些，因而数据预处理需要花更多功夫，即正式输入模型之前的处理过程，还有一个该方法没有像迁移学习那样由统一的MMD距离那样的理论公式支持，各家所用之法统一性不大，更多倾向于模型结构的创新。其优势也是不言而喻，其成功的模型泛化能力较好，无需像迁移学习那样需要微调过程，且精度也相对更好（另一模态(工况)），夸张点说数据前期工作做满，终身受用型，和迁移学习那种边学边改型有较强对比。其融合方式主要有两种，即前端融合和中端融合，当然还有一些文章使用后端决策融合（相对不多），前端融合就是在数据特征提取之前进行融合，相关论文在爱斯维尔或者IEEE中都可以搜到，中端就是在不同模态（工况）数据特征提取之后进行融合，具体也可在爱斯维尔或者IEEE上进行搜索相关文章。这部分代码呢，大家有兴趣也可以自己搜索一下，本人觉得这部分代码相比于迁移学习也稍简单些，文章内容也比较好懂。
以上仅为个人观点，希望对大家有所裨益！
欢迎交流，共同进步。