DuReader数据集，文本提取、分词等简单处理

import json
import pandas as pd
import jieba
import re

data_path = '../datas/dureader_robust-data/train.json'

with open(data_path,'r',encoding='utf-8') as f:
    data = json.load(f)
print(data.keys())

dict_keys(['data'])

print(data['data'][0].keys())

dict_keys(['title', 'paragraphs'])

print(data['data'][0]['paragraphs'][0].keys())

dict_keys(['context', 'qas'])

print(data['data'][0]['paragraphs'][0]['context'])

第35集雪见缓缓张开眼睛，景天又惊又喜之际，长卿和紫萱的仙船驶至，见众人无恙，也十分高兴。众人登船，用尽合力把自身的真气和水分输给她。雪见终于醒过来了，但却一脸木然，全无反应。众人向常胤求助，却发现人世界竟没有雪见的身世纪录。长卿询问清微的身世，清微语带双关说一切上了天界便有答案。长卿驾驶仙船，众人决定立马动身，往天界而去。众人来到一荒山，长卿指出，魔界和天界相连。由魔界进入通过神魔之井，便可登天。众人至魔界入口，仿若一黑色的蝙蝠洞，但始终无法进入。后来花楹发现只要有翅膀便能飞入。于是景天等人打下许多乌鸦，模仿重楼的翅膀，制作数对翅膀状巨物。刚佩戴在身，便被吸入洞口。众人摔落在地，抬头发现魔界守卫。景天和众魔套交情，自称和魔尊重楼相熟，众魔不理，打了起来。

print(data['data'][0]['paragraphs'][0]['qas'][0].keys()