深度学习idea归类与分析

深度学习idea归类与分析

最近研究生复试与毕业论文的事情都忙的差不多了，也算看了一定数量的论文，一直思考如何自己提出自己的idea呢？怎样的idea更容易被审稿人所喜爱呢？所以就打算写个总结，也方便自己日后复习。

工程领域或者是说技术细节方面的的进步（新手必备）

• 将这个领域之内的优秀方法定义在一个新的应用场景

这一类的文章我看了看大概四区到三区的居多，二区以上就比较少见了

举几个我最近见到的例子，有一篇是SSD（目标检测方法）引入注意力机制发了一篇三区，或者是把之前领域的方法用到另一个领域，我的一个学长就是把特征金字塔应引入到显著目标检测中，

当然还有许多这里就不一一列举了。

三区的文章还是有一定创新点的

本菜鸡就打算开学前想一个这类的idea，开学前把几个简单的数据集（PASCAL VOC）都验证一下，开学后借用学校的机器把coco与其他补充实验完成，发表我的第一篇论文 嘿嘿

• 在现有的方法之下提出小的改进提高各类指标

四区基本都是简单trick刷各类数据，有些我感觉甚至都是自己的编的数据，严重怀疑是在训练集上测的甚至是没有进行实验，都是在baseline左右编一个值，我自己之前跑过faster-rcnn，他们在Pascal voc动不动（map@0.5） 80 往上走，就我观察文章中提出的faster-rcnn优化方法顶破天77左右（测试集上）

四区真是太水了说实话 感觉都没有进行实验都是编的数据 水毕业必备

---

学术领域的进步（学术大佬必备）

这一类的idea都是二区往上走的

• 定义了一个新的问题

  基本一区没啥大问题了，这个定义新问题可算是挖坑造福后人，可以让无数后人在此基础上进行建设，当然有些问题是直击痛点，有些则是有点为了提出而提出了，作为刚刚入门的菜鸡，我就不敢妄加评论了

• 构造一个新的数据集对于已经存在的问题

  要问深度学习什么最重要就是数据了，那么多大公司都是建立私有数据集的，有时候不需要方法多么无敌，只要数据足够多，涨点轻轻松松，不过自己构建数据集要考虑什么因素我还没看过相应的论文，就不过多评价了。但是有一点我知道，就是数据肯定不能随便选择，要能体现各类数据指标的测试，同时引入新的测试指标。

​

• 提出一种全新的方法

  这个肯定是很受人喜爱的，像 transformer MLP 等等都是炙手可热的

  当年何凯明大神就是凭借Resnet一举夺魁，还获得了CVPR的年度奖项

• 对现有问题一种新的理解角度

  这个只有大佬才能做到，需要大量的实验与公式论证，

  举个例子之前著名的Alexnet中的一个local结构，被后来的人证明是没有用的

最近值得深挖的好坑

1.Transformer

这个我最近看了看好像需要在一个特大的数据集上预训练，效果才比较理想，文章还没来得及细看

2.Self-Supervised

3.Zero-Shot

4.多模态

5.注意力机制

上述说的都是把这些方法迁移到自己的领域，每个领域也有各自比较新颖的方法

就目标检测举例，我最近看了一篇文章就是结合anchor（锚框）进行学习的方法

可以结合自己的方向如何利用上述比较热门的方法先入门发表一些简单的工作。

因为我主要关注目标检测领域，这里给出一个将所以文章都分类的网站 网站地址

我们只要相应我们需要的内容下载，然后自己跑通代码去复现文章中的数据。

看的多了自然就有思路了。

话不多说了，我今天力扣的每日一题都还做出来呢，屁颠屁颠做题去了。嘿嘿