社保领域知识图谱构建练手小实验(1)——数据预处理

本文档介绍了在社保领域知识图谱构建过程中进行数据预处理的实践。作者使用从CiteSpace下载的1762篇文献结构化数据,首先通过Python提取摘要,然后在Word中替换特定字符。后续步骤包括去除噪声,如转换英文为小写,删除标点、空格和乱码。由于hanlp安装问题,作者转向使用结巴分词和词性标注进行初步处理。
摘要由CSDN通过智能技术生成

练手数据

使用先前做养老服务文献计量相关实验时为CiteSpace所下载的结构化的数据,原始数据为纯文本。
(原始数据可以通过下面的链接自取,其中包含1762篇文献的结构化数据。)
链接:https://pan.baidu.com/s/1IzP5VLAlz3h82kD0BZXU5Q
提取码:ywbx
复制这段内容后打开百度网盘手机App,操作更方便哦

数据预处理

1、用Python编程提取出其中的摘要部分。

"""
抽取出download_9920.txt文件中所有文献的摘要部分
并按行显示在文件data_9920_abstract.txt中
"""

fi = open("D:/textAnalysis/project/knowledgeMapping/download_9920.txt","r",encoding="utf-8")
fo = open("D:/textAnalysis/project/knowledgeMapping/data_9920_abstract.txt","w",encoding="utf-8")

wflag =False                #写标记
newline = []                #创建一个新的列表

for line in fi :            #按行读入文件,此时line的type是str
    if "AB" not in line:
        wflag = False
    if "AB" in line:     #检验是否到了要写入的内容
        wflag = True
    if wflag == True:
        K = list
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值