【技能篇】python读取文件、实体抽取

最新推荐文章于 2024-08-16 00:00:20 发布

macb007

最新推荐文章于 2024-08-16 00:00:20 发布

阅读量3.5k

点赞数 1

分类专栏： python技能文章标签：关键词抽取 python 中文分词自然语言处理

本文链接：https://blog.csdn.net/macb007/article/details/76283622

版权

这篇博客展示了如何使用Python进行实体抽取和文件读取操作。通过读取"data.csv"文件并处理其中的证券名称和号码，实现了将特定字符串替换为预定义实体的功能。主要涉及gensim库和自定义的filterdict、file2dict、sorttext等函数。

摘要由CSDN通过智能技术生成

最近写了一个实体抽取，并且相应的实体填充预处理方案，代码如下（初步实现方案，后期会持续优化代码），完成所有功能会上传至Github上。

import os
import gensim

def main():
word_list = ['平安银行', '000002', '测试', '买入']
#填充实体列表
entity_list = ['entity1', 'entity2']
sorttext(word_list, entity_list)

#根据用户问句分词，并将其作为首元素返回
def sorttext(word_list, entity_list): #wordset表示分词集合，dict表示file2Dict结果
return_list = []
all_dict = filterdict()
for item in word_list:
for key in all_dict:
if key != item:
continue
else:
return_list.append(all_dict[key])
word_list[word_list.index(item)] = entity_list[0]
if all_dict[key] in word_list:
word_list.remove(all_dict[ke