目录
4.1 审稿人通常把复杂度、困难度、技术度与新意度混合在一起。
1. 论文阅读部分
1.1 初始文献调研
1.2 如何读论文
1.2.1 论文海选
(1)先读标题、摘要
(2)直接跳到结论
(3)实验结果(瞄一眼方法,是不是适合自己,要不要继续读下去)
1.2.2 论文精读
(1)关注重要内容
- 公式的详细证明可以暂时忽略,但需要重点关注所有图表(包括流程图和效果图)以及表格。特别是图表中的每个元素,需要明确它们各自的作用和意义。
- 对于算法部分,应理解整个算法的功能和逻辑,即通过其伪代码来掌握算法的工作流程。
(2)理解作者的研究视角
- 分析作者采用的对比角度,包括实验环境、数据集、测试方法、评估指标、对比的算法,以及他们所展示的定性和定量效果。
- 如果某些内容初次阅读时难以理解,不必担心。可以标记下来,并将其归档到后续的讨论或深入阅读中。例如,可以注明哪些问题是由特定学者提出的。
- 通过这种方法,对论文的整体框架和关键部分有一个基本的了解。如果遇到难以理解的部分,可以回顾之前引用的文献以获得更多背景知识。
- 如有必要,可进行第三遍更加详尽的阅读,以深入理解论文的每个细节。
1.2.3 进一步精读
(1)深入理解每个部分
- 在进一步的精读阶段,你需要理解论文中每句话和每段落的目的和内容,从而能在脑海中完整地复现论文描述的研究过程。(需要知道每一句每一段要干什么,脑子里能重复实现这篇文章(脑补)。)
- 关键是要明确作者提出的问题及其采用的解决方案。思考如何在脑海中重建和模拟这些研究方法,以便深入掌握文章的核心思想和技术细节。(尤其是,作者提出什么问题,能用什么方法解决这个问题。)
(2)创新和批判性思考
- 特别关注作者在研究中指出的不足之处或未涉及的领域。思考如果是你来进行这项研究,会采用什么方法,或者如何改进现有方法,以解决这些问题。
- 探讨自己是否能提出新的方法或优化方案来弥补原研究的不足,或者是否能以不同的视角或技术手段实现更好的研究结果。
- 如果换我来做,我应该用什么方法来实现这个问题,换我来怎么做的比他更好(尤其是作者说这个文章有的地方我没做,但是我们可以尝试能否做的更好)。
(3)离线理解与回顾
- 最终目标是在不参考文本的情况下,能够回忆起论文的重要细节和关键点。这需要通过多次阅读和深入思考来逐步建立对论文内容的全面理解。
- 论文阅读结束后,尝试闭上眼睛回顾文中的论点、方法和结论,
(最后,关上文章,提到文章能回忆出细节。)
2. 如何寻找研究idea
2.1 分析问题本质
(1)读论文时,读的是整个的故事,自己想idea时要把原文章里的东西给蒸馏出来。
对于作者的贡献点,搞清楚为什么能出现性能提升?本质是什么?再换个方法试试。
2.2 怎么修改
(1)换新的模型。
如果是模型的修改,换成新的架构是一个非常通用的想法。
(2)整理失败实验数据。
有一些想法后需要去验证,通过观察实验结果,整理后的思路,来得到新的想法。
有一个想法,但是做完发现它其实并不是那么回事。但是最后我们通过每个实验不同的实验结果,可以柔和成一篇文章。
(3)简单的补丁与论文故事串讲。
可以打补丁,但是不能打很多,会显得很脏,最好有一个故事串起来。
换个角度,具有昂贵训练成本的文章,拼精其实并不如提高训练速度。
3. 怎么判断自己研究工作的价值
3.1 用公式判断研究价值
判断论文的价值:“用有新意的方法有效解决一个研究问题。”
工程问题与研究问题区别: 避免将易于找到解决方案的工程问题,误认为是研究问题(你能马上想到解决方案的大概率是工程问题)。研究问题的结果完全未知,初始的几个想法、解决方案一般是不行的。
价值 = 新意程度 x 有效性 x 问题大小
3.2 从新意、有效性、问题大小判断
- 问题大小:
- 1(对之前工作中的小缺陷进行改进,对结果提升不感到意外,可以预测)
- 10(如计算机视觉中的特定子任务)
- 100(如机器对文本、图片的理解提升)
- 有效性:
- 1(算法精度略优于现有SOTA算法)
- 10(比之前的领域内工作性能提高1-2%)
- 100(包括性能、安全性、成本的显著提升,5-10%)
- 新意度:
- 1(大家对结果不感到意外,不用看后文都可以预测结果)
- 10(表示有一定新意度、在某个方面非常巧妙的解决了问题)
- 100(采用了之前不常见的技术(大家不熟)为研究领域开辟了新天地,具有启发性)
(某个方面调到1,就很难发表一流会议。至少要拿到一个10.)
新意:你用的方法别的领域没人用过。
或者也许很多年前别人用过了,但是最近没人用这样也可以。
结论:总结一句,什么方法,怎么样解决了,什么的研究问题。
摘要:我要解决什么样的研究问题,我的新意在哪里,我的结果是什么样的。
4. 研究新意度(理解自己论文的新意度、以及如何审稿)
关于大师的吐槽, Michael J. Black 。
https://scholar.google.com/citations?user=6NjbexEAAAAJ&hl=zh-CN
4.1 审稿人通常把复杂度、困难度、技术度与新意度混合在一起。
评审时应该把新意度抽出、换成优美程度。
比如物理、数学类理论研究更关注:优美(与技术、复杂的区别,如毕加索的油画)与深刻。
4.2 作者的想法简单但是没有新意?
之前没人想过(改不出来)、但是有效果、且简单就是有用的(但实际上最好需要包装、复杂容易通过)。
4.3 困难度衡量新意?
论文作者必须要呕心沥血才能中?得考虑到方方面面,艰辛的努力。
(不需要所有方面,只需要核心角度提出一个点,并证明该方法核心有效,如GAN,直接讲简单的方法,甚至效果都不用很好)
4.4 用惊讶来衡量新意度?
听到一个好的想法,感觉很惊讶。另外一种就是A+B,很显然的工作,这时衡量、在没有听到这个想法时,是否显然,你能否自己想出来。
4.5 用技术上的新意衡量整体新意?
如数据集,收集方法和之前一样,但是内容不一样,明显有新意。老方法,新方法,没有特别的技巧,但是用来解决新的没那么想过的问题。或者把复杂的方法,换成简单的模型。
4.6 用有效性、实用性来衡量新意度?
使用美观的锤子来衡量新意是不足够的,因为一个看起来好看的锤子并不一定实用。然而,一个优质的锤子应该能够有效地完成其功能。
5.论文写作:研究的艺术,跟读者建立联系。
6. 明白研究问题的重要性
7. 讲好故事、论点
8. 理由、论据和担保
9. 大模型时代下做科研的四个思路