weixin_42392668的博客

爬在NLP的大道上——Learning Dense Representations of Phrases at Scale欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入论文地址：https:

爬在NLP的大道上——Question Answering Infused Pre-training of General-Purpose Contextualized RepresentationsMotivation：Method：Tips：Results：My Thoughts：论文地址：https://arxiv.org/pdf/2106.08190.pdfMotivation：传统的预训练方式都是基于上下文信息理解的（BERTs），能否考虑改变这一种方式，使用问答的形式来训练模型（原文中未说

爬在NLP的大道上——Learning Robust Dense Retrieval Models from Incomplete Relevance LabelsMotivation：Method：Tips：Results：My Thoughts：论文地址：https://dl.acm.org/doi/pdf/10.1145/3404835.3463106Motivation：基于ANCE，主要为了解决：when large-scale training data lacks complete re

爬在NLP的大道上——A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document CollectionsMotivation：Method：Tips：Results：My Thoughts：论文地址：https://arxiv.org/pdf/2106.08908.pdfMotivation：注意到在解决QA问题时，如果采取“先对document进行rerank打分，再对

爬在NLP的大道上——More Robust Dense Retrieval with Contrastive Dual LearningMotivation：Method：Tips：Results：My Thoughts：论文地址：https://arxiv.org/pdf/2107.07773.pdfMotivation：现有的dense retrieval方法虽然很有效，但是q、p在空间中的分布还是很混乱（凭嘴说），原因在于现有的模型旨在对于给定的q，拉近+document的距离，拉远-doc