weixin_43301333的博客

反思了一下自己调研文献、想idea的过程中存在的一些问题，凭个人的积累总结搞研究的一个pipline（侧重于思考idea）：一个研究(思考idea)的pipeline：调研文献，学习领域知识 搭建baseline 思试结合，不停迭代--------------------->|------------->|-->|----->|-->|---->| 思 试 思 试 思 试N

今年CCL改为线上开展，所有学生研讨、特邀报告全部对外开放。在此，有幸能够听到赵鑫老师，丁宁、王思远等众多优秀学长学姐的科研心得分享(原价2870元/人的研讨会，还是蛮值的)。1. 如何写一篇"合格"的国际学术论文？(赵鑫教授)还是一句话，introduction非常非常重要！notation没有固定的规则，硬要说的话，满足：好看好记自成体系即可这里赵鑫老师推荐了一个template，有相应的公式可以简单仿照上面的写法：DeepLearningBook也可以自己找本机器学

前言本人研究心得体会，仅做参考和讨论，本人为计算机工科方向，其他学科领域可能无法参考调研文献一直是一件让人很头疼的事情，尤其是我们刚接触一个陌生的领域的时候，我们对其知之甚少，而恰好组里又没有师兄、师姐做过这个方向。这种情况下，求助现有的paper list是一个很好的办法，也有人会先去看一篇survey个人觉得也不错。但是，很多时候某些领域相对比较空白，这些外界资源也会很匮乏。这时候，走投无路的小白可能会盲目地打开谷歌直接就按照关键字去搜索了，然后就会发现：然后，小白就会从第一条搜索结果开始看，a

名称GradTS: A Gradient-Based Automatic Auxiliary Task Selection Method Based on Transformer Networks收录于：EMNLP 2021，本人共同一作是上一篇工作的延伸2，Transformer的一个empirical的应用探究大致介绍前提曾有工作表明1 ，预训练语言模型Transformer等，可以捕捉学习到一些隐藏的linguistic features，语言语法特点(e.g., syntactic)

名称Contributions of Transformer Attention Heads in Multi- and Cross-lingual Tasks收录于：ACL 2021 (long oral)，本人三作一篇比较具有启发性的Transformer的结构和应用探究.大致介绍前提基于前人的研究结论1 2，BERT的144(12*12)个heads里面，有一些heads对于任务来说是冗余的。或者说对于特定的任务，这些heads的contribution是不一样的,将一些当前任务用处不大