Ontonote4 pre-process代码
Ontonotes4.0命名实体识别预处理程序
做自然语言处理命名实体方向的,一般会用到Ontonotes4.0(5.0)数据集。但是,Ontonotes数据集原始数据是用类XML标记的,不能直接用于神经网络模型(LSTM,Transformer),需要进行预处理成BIO/BMES格式。5.0已经有Scripts了。在这里,我分享一份根据原始论文http://www.aclweb.org/anthology/N13-1006
的方法中文部分进行分割数据集(train,dev,test)处理(转BMES/BIO)原始数据集的预处理程序。
邮箱: smj13343328801@163.com
Ontonotes数据集大家可自行去LDC官网申请,尊重版权©。仅提供预处理程序。欢迎大家关注哈!也欢迎分享交流!