- 博客(4)
- 收藏
- 关注
RSS订阅原创 NLP project: Task 2
数字信息在医学、工程和金融等多个领域的叙述中扮演着重要角色。先前的工作聚焦于数值理解的基础探索，并表明细致的数值理解是一项具有挑战性的任务。在机器阅读理解中，我们的统计数据显示，以前的数据集中只有少数与数字相关的问题出现。这表明设计用于数值学习的基准数据集很少。在这篇论文中，我们提出了一个与数字相关的问题回答数据集，NQuAD，用于细致的数值理解，并为未来的工作提出了几个基线模型。我们将NQuAD与三个机器阅读理解数据集进行了比较，结果显示NQuAD比其他数据集中与数字相关的问题更具挑战性。
2024-04-12 03:03:00
1033
原创 NumEval 论文
数字与文字具有独特的特性。教会模型理解文本中的数字是一个开放性研究问题。本论文不讨论所需的计算技能，而是聚焦于一个更基础的话题：理解数字。我们指出，大多数预训练的语言模型（LMs）存在数字概念基础处理能力不足的问题，即数值盲。我们提出了一种通过探索数字的表示法来解决这一问题的方法。进一步，我们讨论了改变数字表示法和预微调以及比较数字任务是否可以在包含量化相关任务的三个基准数据集中提高性能。这项研究的结果表明，输入重构和所提出的预微调任务对于RoBERTa模型是有益的。
2024-04-09 11:57:43
908
1
原创 LLM论文：SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions
大型“指令微调”语言模型（即微调以响应指令的模型）已经展示了在零样本情况下泛化到新任务的卓越能力。然而，它们严重依赖于人类编写的指令数据，这些数据通常在数量、多样性和创造性上都是有限的，因此限制了微调模型的通用性。我们引入了SELF-INSTRUCT，一个通过利用它们自己的生成来提升预训练语言模型遵循指令能力的框架。我们的流程从一个语言模型生成指令、输入和输出样本，然后在使用这些样本来微调原始模型前，过滤掉无效或相似的样本。
2024-04-09 03:31:54
798
原创 To Punctuality and Beyond: Meeting ApplicationDeadlines with DTP
摘要—许多应用程序对其数据传输有时限要求，例如实时视频、多人游戏和云端增强/虚拟现实。然而，当前的传输层API过于简单，无法满足这些要求。因此，如今的应用程序被迫构建定制且复杂的时限感知数据传输机制。在本研究中，我们设计了适用于广域互联网的“时限感知传输协议”（DTP）以提供在截止日期前交付的服务。为了满足在不稳定网络环境下的多样化且有时相互冲突的需求，我们设计了“发送方主动丢弃”调度器和自适应冗余。我们通过对QUIC进行扩展来构建DTP，然后开发了两个利用DTP的应用程序。
2023-11-05 04:53:24
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人