答案匹配(answer matching):
答案匹配的基本流程:
将输入的QA对编码为分布向量(词嵌入等方法),然后计算答案和问题的相关性得分(注意力机制等方法)。
单问题-答案对:
1)cMedQA 2.0
gitee库
github:https://github.com/zhangsheng93/cMedQA2
(平均长度太长了一点,每个问题答案数量不等,3-5个答案)
2) 医疗问答数据集:
论文:IARNN-Based Semantic-Containing Double-Level Embedding Bi-LSTM for Question-and-Answer Matching
网址:
https://github.com/Vitas-Xiong/Chinese-Medical-Question-Answering-System
简介:
从http://www. 120ask.com上爬下来的60000个问题和112986个答案,每个问题有两个正确答案。
问题平均长度:50,答案平均长度:70。
例子:
3)LegalQA:
网址: https://github.com/siatnlp/LegalQA
论文:Interactive knowledge-enhanced attention network for answer
selection
法律咨询QA对,每个问题5条左右答案,10,000条问题(45,000问题对)
legalQA-manual:有注释的QA对(英文翻译)
legalQA-all:无注释的QA对
例子:
4) 中国法研杯(2021 司法摘要)
官网地址:http://cail.cipsc.org.cn/task5.html?raceID=3
任务:具体来说,我们会提供法律咨询的用户提问和若干个回答,作为真实的问答数据集,选手的任务是输出对应的正确、完整、简洁的参考回答。
数据集:
本任务技术评测使用的训练集、验证集、测试集均来自互联网,包含大约24000条问题,每条问题包含2~4条律师解答以及对应的标准摘要答案。
(官网上要报名才能下载数据,但是找到了一个github和论文)
github:https://github.com/china-ai-law-challenge/CAIL2021
论文:https://blog.csdn.net/CY19980216/article/details/120660124
《2021中国法研杯司法考试数据集研究(CAIL2021)》
5)COVID-QA
网址:https://www.kaggle.com/xhlulu/covidqa
290k个有关新冠病毒的QA对,每对有一个正确答案和一个错误答案。
示例:
(截图太小,直接去网站看)
6)CMRC2018:(中文)MRC数据集
官网:https://ymcui.com/cmrc2018/
维基百科提取的真实问题,类似中文版SQuAD
分集和数据:
实例:
官方Baseline:https://github.com/ymcui/cmrc2018
(好像不太好用)
CMRC2019:
句子级填空型阅读理解
给定一个叙事篇章和若干从篇章中抽取出的句子,参赛者需要建立模型将候选句子精准的填回原篇章中,使之成为完整的一篇文章。
7)DuReader系列:(MRC任务)
https://ai.baidu.com/broad/subordinate?dataset=dureader
8)英文QA数据集汇总:
http://nlpprogress.com/english/question_answering.html#searchqa
其中用到的一些:
NewsQA:
专业领域问答
包括119,633 个从CNN新闻上摘取的问答对。
答案平均词数为5
有相关知识
WikiQA:
开放领域问答
包含3,047个问题和29,258个句子
(每个问题答案数不等(3-20个),可能不含正确答案)
无相关文本
NarrativeQA:
https://github.com/deepmind/narrativeqa
格式:[id, question, answer1, answer2,]
COPA:
包含1000个问题,平均分为dev和test集,每个集500个问题, 问题和答案长度不超过20词。
TriviaQA:
包括95K问答对,答案由人工和文件中产生,平均每个问题六个答案,平均问题长度:14,平均文件长度:2895
HotpotQA:(2017)
https://hotpotqa.github.io/
开放领域问答
包含113K个来自多领域的问题
格式:[id, answer, question, context]
BeerQA:(2021)
https://beerqa.github.io/
开放领域问答,含相关context(可能有多段),基于SQuAD和Hotpot生成,
一个问题只提供一个答案
Web Questions:
homePage:
https://worksheets.codalab.org/worksheets/0xba659fe363cb46e7a505c5b6a774dc8a
机构:斯坦福大学(2013)
介绍:开放领域问答,不含上下文信息,总共6642个问答对,train集含4610个问答对,test集含2032个,问题多数围绕单个命名实体提出。
格式,实例:[url, answer(tagetValue), question(utterance)]
1、Train集:
{“url”: “http://www.freebase.com/view/en/justin_bieber”,
“targetValue”: “(list (description “Jazmyn Bieber”) (description “Jaxon Bieber”))”,
“utterance”: “what is the name of justin bieber brother?”},
2、Test集:
{“url”: “http://www.freebase.com/view/en/jamaica”,
“targetValue”: “(list (description “Jamaican Creole English Language”) (description “Jamaican English”))”,
“utterance”: “what does jamaican people speak?”},
3、实体集,FreeBase中的实体集合(可作为答案池)
OpenBookQA:
机构:A12
介绍:5957个多选科学问题,(4,957 train, 500 dev, 500 test),从1326个科学事实中抽取,以及一个科学知识集openbook(每个知识是一句话)
格式:
[id,Question, Choices, Answer Key]
Qasper:
https://allenai.org/data/qasper
机构:A12(2021)
没有benchmark
QAngaroo:
http://qangaroo.cs.ucl.ac.uk/
没有benchmark,更多偏向阅读理解
MultiRC:
官网:https://cogcomp.seas.upenn.edu/multirc/
机构:
简介:开放领域,train:dev=3:2,短文段多句形式,每个问题的正确答案数量不定,
格式:
Qupref:
https://allenai.org/data/quoref
机构:A12(2019)
简介:Quoref是一个QA数据集,用于测试阅读理解系统的相关性推理能力。在这个跨度选择基准中,包含来自维基百科的4.7K个段落中的24K个问题,系统必须先解决硬引用,然后才能在段落中选择合适的跨度来回答问题。
多轮对话-回答对:
来自答案选择benchmark:
https://paperswithcode.com/task/answer-selection
1) 豆瓣多轮对话数据集:
地址:https://github.com/MarkWuNLP/MultiTurnResponseSelection
(下载不在这里在google上,太坑了!! )
说明:
测试数据包含 1000 个对话上下文,对于每个上下文,创建 10 个response作为候选。我们招募了三名标注员来判断候选response是否对上下文做出了适当的回应。正确的响应意味着响应可以自然地回复给定上下文的消息。每对收到三个标签,大部分标签被视为最终决定。
2)E-commerce 对话数据集:
地址:在Google上(叹气)
电子商务对话语料库,包括基于检索的聊天机器人的训练数据集、开发集和测试集。
示例:
(格式和豆瓣数据集相同)
3) Ubuntu对话数据集:
地址:Google
英文数据集,详情见paperswithcode上的benchmark
train.txt: 1 million training samples (pos:neg=1:1)
valid.txt: 50,000 samples for validation (pos:neg=1:9)
test.txt: 50,000 samples for testing (pos:neg=1:9)
其他(未调研,多为社区问答,没啥用):
1、百科类问答(json版):
https://pan.baidu.com/share/init?surl=2TCEwC_Q3He65HtPKN17cA
fu45
例子:
{“qid”: “qid_2540946131115409959”,
“category”: “生活知识”,
“title”: "冬天进补好一些呢,还是夏天进步好啊? ", “desc”: “”,
“answer”: “你好!\r\r当然是冬天进补好的了,夏天人体的胃处于收缩状态,不适宜大量的进补,所以我们有时候说:“夏天就要吃些清淡的,就是这个道理的。”\r\r不过,秋季进补要注意“四忌” 一忌多多益善。任何补药服用过量都有害。认为“多吃补药,有病治病,无病强身”是不的。过量进补会加重脾胃、肝脏负担。在夏季里,人们由于喝冷饮,常食冻品,多有脾胃功能减弱的现象,这时候如果突然大量进补,会骤然加重脾胃及肝脏的负担,使长期处于疲弱的消化器官难于承受,导致消化器官功能紊乱。 \r\r二忌以药代食。重药物轻食物的做法是不科学的,许多食物也是好的滋补品。如多吃荠菜可治疗高血压;多吃萝卜可健胃消食,顺气宽胸;多吃山药能补脾胃。日常食用的胡桃、芝麻、花生、红枣、扁豆等也是进补的佳品。\r\r三忌越贵越好。每个人的身体状况不同,因此与之相适应的补品也是不同的。价格昂贵的补品如燕窝、人参之类并非对每个人都适合。每种进补品都有一定的对象和适应症,应以实用有效为滋补原则,缺啥补啥。 \r\r四忌只补肉类。秋季适当食用牛羊肉进补效果好。但经过夏季后,由于脾胃尚未完全恢复到正常功能,因此过于油腻的食品不易消化吸收。另外,体内过多的脂类、糖类等物质堆积可能诱发心脑血管病。”}
2、社区问答:
https://github.com/brightmart/nlp_chinese_corpus
例子:
{“qid”: 65618973,
“title”: “AlphaGo只会下围棋吗?阿法狗能写小说吗?”,
“desc”: “那么现在会不会有智能机器人能从事文学创作?
如果有,能写出什么水平的作品?”,
“topic”: “机器人”, "
star": 3,
“content”: “AlphaGo只会下围棋,因为它的设计目的,架构,技术方案以及训练数据,都是围绕下围棋这个核心进行的。它在围棋领域的突破,证明了深度学习深度强化学习MCTS技术在围棋领域的有效性,并且取得了重大的PR效果。AlphaGo不会写小说,它是专用的,不会做跨出它领域的其它事情,比如语音识别,人脸识别,自动驾驶,写小说或者理解小说。如果要写小说,需要用到自然语言处理(NLP))中的自然语言生成技术,那是人工智能领域一个”, “answer_id”: 545576062, “answerer_tags”: “人工智能@游戏业”}
3、insuranceQA:
介绍:https://paperswithcode.com/dataset/insuranceqa
这是啥(?):https://github.com/chatopera/insuranceqa-corpus-zh/wiki
数据集网站(主要是NLP方面):
1)史上最牛的paperswithcode:
https://paperswithcode.com/
2)史上第二牛的kaggle:
https://www.kaggle.com/
3)做的像屎的天池:
https://tianchi.aliyun.com/dataset?spm=5176.14154004.J_3941670930.21.31fe5699ruuf4H
4)分类诡异的千言:
https://www.luge.ai/#/
5)超牛但是啥也没用上的CLUE:
https://www.cluebenchmarks.com/dataSet_search.html
还没用过的:
dataWorld:
https://data.world/
美国政府数据库网(?):
https://www.data.gov/
Socrata OpenData:
https://opendata.socrata.com/