寻求帮助：尝试在深度学习领域找创新点

写在最前面

基线模型实验都做了，但找不到任何创新的idea，不知道怎么跳出死循环

各位大佬能给一点指导吗

参考：https://blog.csdn.net/lijiaming_99/article/details/114776901

思路

读文献最开始要广泛的读。
先确认思路，再考虑代码怎么写

第一步：找到现有问题（改进方向）

什么领域有什么问题，想解决什么领域的什么问题。
所以方方面面的论文，感兴趣的领域都多读一读，建议多读一读综述。

第二步：确认解决方案

确定想要解决问题的解决方法，可能解决这个问题会用到很多不同的算法
找一个感兴趣的，方法流行的，也就是近几年方法的研究热点。这样的好处是，可参考论文多，研究有价值。
这个阶段大多数人论文会看的云里雾里，根本不知道写的是什么，不要慌张，跳过实验部分，只看他用了什么基础方法，意义是什么。

第三步：学习方法步骤

这个时候已经确定这个方法了，去专门的学习这个方法的原理，系统的学习它的方法步骤。
觉得掌握之后，就在知网下载一些差一点的学校学报的期刊，这种文章多是对方法没有改进，大多是应用一下，这种文章对于论文初级选手太友好了，这个时候你会发现，你看懂了第一篇文章，从头到尾。
多看上几篇基本知道这个方法的一个写论文的步骤，实验的结果流程。

第四步：改进创新归纳

开始接触高质量的文章了，国内大多数论文都是方法改进和应用创新，方法改进更能发表高质量的论文。
国外的文章改进的很好，我们老师说完完全全创造一个新方法是不太可能的，这都是数学家之类的科学家做的事，我们能改进的效果更好，就很好了。
所以，接触一些高质量的中文，有能力多看外文，然后熟悉他们的改进，进行归纳分析，有的论文会结合多种方法，改进的形式和组合太多了。
最后给大家说一个套路，很多朋友不知道怎么找自己论文改进之处，创新点，可以把其中两种或者多种改进方式相结合，在结合不同的改进方法，可以找出很多点，当然了，找出点来不一定效果好，这个得通过后期实验验证和优化了。

第五步：可视化说明

写的时候结构框图画的漂亮一点，多给出一些图和表，例如混淆矩阵，损失曲线等。
如果可以通过可视化的手段说明一下使用深度学习的效果一般可以在稍微上一个档次。

其他

多尺度特征，注意力机制，gcn，gan
注意力机制加可解释AI，加顶会最顶的结构
网络进行N+1式增量学习
automl搜模型

pre-train+attention+downstream task—> semi-supervised

用pre-training （bert，xlnet都试一试）+ 下游任务试错一次（侧重performance）
用adversarial attack攻击一次（鲁棒性思考），GNN办法试一次，强化学习来一次（有点难）

A算法部分嵌入B

把A算法的部分步骤（或者某运算、函数），嵌入B算法内部，应该算是创新吧，例如
1）把跨层恒等连接加入卷积神经网络，就得到了残差网络；
2）把非局部均值引入残差网络，就得到了非局部神经网络（non-local neural network）；
3）把软阈值化引入残差网络，就得到了适合强噪数据的残差收缩网络。

交叉application

算法A在任务B上的表现等。
ccf的c类会议里有相当一部分都有>40%接受率（ICANN，IJCNN，ICPR等），魔改一点网络结构去尝试解决一个没人在乎的问题，只要写的别太拉胯就硕士毕业了。

cv方向

RGBD四通道目标检测