记录下载newsqa数据集

已于 2022-03-05 17:29:55 修改
阅读量642 收藏 3
点赞数
分类专栏： 深度学习 文章标签： 深度学习
于 2022-03-05 17:19:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43879702/article/details/123297631
版权

由于做QG任务需要用到newsqa数据集，在此记录一下下载newsqa数据及的过程：
1、打开官方github
2、下载代码并放入google云端硬盘
在这里插入图片描述
[放入云端硬盘并解压]
在这里插入图片描述
3、下载cnn_stories.tgz 链接
在这里插入图片描述
4、下载stanford-postagger 链接
将其中的stanford-postagger.jar和lib文件夹中的slf4j-api.jar放入云盘中的newsqa文件夹下在这里插入图片描述
在这里插入图片描述

5、更改test文件夹下两个py文件的路径
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
6、运行得到数据集（运行时间较长）
在这里插入图片描述
在这里插入图片描述

7、测试数据集
在这里插入图片描述
到此就完成啦！

Peter_Pang
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
question_generation:使用SQuAD和NewsQA数据集的神经问题生成
05-04
神经问题生成：学习提问 该项目旨在探索使用深层神经网络从阅读理解段落中的句子中自动生成问题。 我们可以将此任务解释为“问答”的相反目标，在给定句子和问题的情况下，我们可以构建算法来找到答案。 这里的目标是在输入句子的情况下生成一个问题，并可能给出一个答案。 可以考虑各种范例： 给定一个句子，就该句子生成一个问题。 这种范例与机器翻译中的操作非常接近，在机器翻译中给定了语言A的输入句子，我们打算将其翻译成语言B的相应句子。主要区别在于输出空间的大小，这是很大的由于可以从一个句子中创建大量的问题，因此对于QG来说更大。 给定一个句子和一个答案，句子中的跨度会产生一个关于句子的问题，我们可以通过给出的答案来回答。 与以前的范式的不同之处在于，这里可能产生的问题的输出空间要窄得多，因为它受答案的限制。 给定一个段落，该段落中的一个句子，该句子中的一个答案，就该句子产生一个问题，该问题可以
excel表怎么计算断面土方_180个工程量Excel自动计算表，精准秒计算，工作效率翻倍...
weixin_39855796的博客
11-29 468
180个工程量Excel自动计算表，精准秒计算，工作效率翻倍朋友们有没有觉得算工程量是真的麻烦，这是一个很仔细的活，不管做造价还是施工员，都要接触，还不能马虎，真的很愁人了。为了解决这个问题，老刘搜集并整理了180份工程量计算表格，全是Excel格式，输入数据就可以自动出结果，既方便又准确，节省了大量的工作时间！【文末免费领！】180个工程量自动计算表有钢管混凝土柱承载力计算、轴压混凝土柱承载力计...
数据集搜集整理
HK_John的博客
10-10 1万+
1. CIFAR-10 & CIFAR-100     CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。     （类别：airplane，automobile, bird, cat, deer, dog, frog, horse, ship, truck）     （作者：Alex Krizhevsky, Vinod N
NLP机器阅读理解：四大任务及相应数据集、比赛
Kaiyuan_sjtu的博客
09-24 2885
作者|周俊贤整理|NewBeeNLP关于机器阅历理解应用，首先介绍大家一个真实的业务场景，从网购平台的退单工单中抽取实际退款金额，数据大概是这样：你好，我3月份在网上买的洗衣...
Maluuba NewsQA 机器阅读理解数据集.7z
07-13
Maluuba News QA 是一种用于机器阅读理解的数据集，其包含开发能够回答人类问题和推理问题的相关 算法 ，该...Maluuba News QA 数据集由微软于 2016 年发布，相关论文有《NewsQA: A Machine Comprehension Dataset》。
Python-data-visualization-exercises:一个学习过程中的python数据可视化小练习
05-12
Python数据可视化练习一个学习过程中的python数据可视化小练习原理说明数据请求def china_update_data (): confirmAdd_data = {} url = '... get ( url ). json () for k , v in res [ 'data' ][ 'provinceCompare' ]....
cs224n
03-13
斯坦福大学CS224N类项目的资料库项目提案项目里程碑资料资讯域内数据数据集\ indomain_train \ nat_questions中的条目数：50000 数据集\ indomain_train \ newsqa中的条目数：50000 数据集\ indomain_train \ squad...
IMM:“用于机器阅读理解的迭代式多源互知识转移框架”的代码（IJCAI2020）
03-18
data目录应包含Train，dev，五个域的测试集： SQuAD ， NewsQA ， HotpotQA ， NaturalQuestions和TriviaQA 。 DOMAINNAME.raw.json是训练集， DOMAINNAME_dev.raw.json和DOMAINNAME_test.raw.json是验证集和测试集...
问答数据集（自用，持更）
weixin_44125942的博客
12-01 1万+
1、Quora 问题对数据集： 判断两个问题是不是同一个意思（通用） 综述： https://blog.csdn.net/studyvcmfc/article/details/107941583?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242.2 2、医药问答数据集： https://gitee.com/wan
WikiQACorpus数据集
03-05
WikiQACorpus数据集，NLP项目测试集，可用于训练与测试。
【积累】非常全面的开源数据集
热门推荐
crazyang的博客
09-05 1万+
非常全面的开源数据集 由skymind.ai公布 非常全面的开源数据集 最近新增数据集 自然图像数据集 地理空间数据 人工数据集 人脸数据集 视频数据集 文本数据集 问答数据集 情感数据集 推荐和排名系统 语音数据集 音符音乐数据集 健康 &生物数据 政府&统计数据 网络和图形 其它数据集 最近新增数据集 开源生物识别数据：http://openbiom...
机器学习数据集！CV、NLP 一应俱全
qq_44597856的博客
06-29 300
机器学习数据集！CV、NLP 一应俱全
NLP常用模型和数据集汇总
DAICONG’s Blog
05-15 1137
文章目录1. 常用模型1.1 pytorch版本1.2 tensorflow版本2. 常用数据集3.参考 1. 常用模型 1.1 pytorch版本 模型 文件名称 下载链接 - bert-base-cased 下载提取码 - bert-base-chinese 下载提取码 - bert-base-uncased 下载提取码 - bert-chinese-wwm-ext 下载提取码 BERT bert-chinese-wwm 下载提取码 - bert-large-case
SQuAD，斯坦福在自然语言处理的野心
技术博客
09-12 8435
本文将详细叙述今年目前为止自然语言处理界最重量级的数据集 SQuad 。 SQuAD 是斯坦福大学于2016年推出的数据集，一个阅读理解数据集，给定一篇文章，准备相应问题，需要算法给出问题的答案。此数据集所有文章选自维基百科，数据集的量为当今其他数据集(例如，WikiQA)的几十倍之多。一共有107,785问题，以及配套的 536 篇文章。数据集的贡献者为斯坦福Percy Liang等人，Percy Liang是自然语言处理界的一位全才，在Semantic Parsing, QA, Optimization
自然语言处理常用数据集
新长征路上的小白
10-07 1万+
Treebanks and annotated corpus useful for training POS tagger, parser etc Penn Treebank http://www.cis.upenn.edu/~treebank/home.html WSJ Corpus https://catalog.ldc.upenn.edu/LDC2000T43 Corpus ht
别找了，送你 20 个文本数据集
机器学习算法与Python学习
05-17 1万+
源 /DataCastle数据城堡中科大自然语言处理与信息检索共享平台http://www.nlpir.org/?action-category-catid-28搜狗实...
虚假新闻检测数据集
12-29 6402
1.FakeNewsNet 下载链接：https://github.com/KaiDMML/FakeNewsNet 说明：该数据集包含新闻内容和正确标注真假新闻标签的社会语境特征。 使用论文： （1）A Stylometric Inquiry into Hyperpartisan and Fake News （2）Exploiting Tri-Relationship for Fake News ...
python爬虫数据可视化文件json
最新发布
01-12
以下是使用Python爬虫获取JSON数据并进行可视化的示例代码： ```python import requests import matplotlib.pyplot as plt # 发起请求获取JSON数据 url = 'https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=statisGradeCityDetail,diseaseh5Shelf' response = requests.get(url, verify=False) json_data = response.json()['data'] china_data = json_data['diseaseh5Shelf']['areaTree'][0]['children'] # 解析数据 data_set = [] for i in china_data: data_dict = {} data_dict['province'] = i['name'] data_dict['nowConfirm'] = i['total']['nowConfirm'] data_dict['dead'] = i['total']['dead'] data_dict['heal'] = i['total']['heal'] data_set.append(data_dict) # 可视化数据 provinces = [data['province'] for data in data_set] now_confirms = [data['nowConfirm'] for data in data_set] deaths = [data['dead'] for data in data_set] recoveries = [data['heal'] for data in data_set] plt.figure(figsize=(10, 6)) plt.bar(provinces, now_confirms, label='Now Confirmed') plt.bar(provinces, deaths, label='Deaths', bottom=now_confirms) plt.bar(provinces, recoveries, label='Recoveries', bottom=[now + death for now, death in zip(now_confirms, deaths)]) plt.xlabel('Provinces') plt.ylabel('Number of Cases') plt.title('COVID-19 Statistics in China') plt.legend() plt.xticks(rotation=90) plt.show() ``` 这段代码首先使用`requests`库发起请求获取JSON数据，然后解析数据并将需要的信息存入一个列表中。接下来，使用`matplotlib`库进行可视化，通过条形图展示各个省份的现存确诊、死亡和治愈人数。最后，使用`plt.show()`显示图表。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值