萱仔NLP集锦
文章平均质量分 90
萱仔学习自我记录
这个作者很懒,什么都没留下…
展开
-
NLP任务一些常用的数据集集锦
Shakespeare文本数据集包含莎士比亚的作品,常用于文本生成任务,尤其是生成与莎士比亚风格相似的文本。CoNLL 2003是一个标准的数据集,用于命名实体识别任务,包含对新闻文章中人名、地点和组织的标注。SQuAD是一个用于问答系统的热门数据集,包含大量的问答对,旨在促进自然语言处理中的问答研究。SNLI是一个用于文本蕴涵任务的标准数据集,旨在研究句子之间的关系,如蕴涵、对立或中立。Multi30k是一个用于机器翻译的多语言数据集,提供图像的描述文本,并翻译为多种语言。原创 2024-09-28 23:57:48 · 385 阅读 · 0 评论 -
NLP任务的详细原理与步骤的详细讲解
对每个NLP任务的原理和步骤的详细讲解。每个任务的实现依赖于特定的模型架构和数据处理方法,理解这些原理有助于在实际应用中选择合适的方法和工具。原创 2024-09-25 23:55:47 · 810 阅读 · 0 评论 -
BLEU和ROUGE评价指标原理和计算方式
BLEU是一种自动评估生成文本与参考文本相似性的指标,主要用于机器翻译。它通过计算n-gram的重叠程度来判断生成文本的质量。ROUGE是一组用于自动评估文本生成质量的指标,主要用于文本摘要。它通过计算生成文本与参考文本之间的重叠情况,尤其关注召回率。原创 2024-09-26 23:51:44 · 765 阅读 · 0 评论