实体关系抽取--句子分词

最新推荐文章于 2024-04-12 09:56:28 发布

TNNAA

最新推荐文章于 2024-04-12 09:56:28 发布

阅读量1k

点赞数

分类专栏：关系抽取

本文链接：https://blog.csdn.net/TNNAA/article/details/107712233

版权

本文介绍了在实体关系抽取数据处理过程中，如何利用Python的Pool类进行句子分词。Pool类允许指定数量的进程并行操作，提高了处理效率。文中详细讲解了apply()和apply_async()两个方法的使用，以及如何通过close()和join()来管理进程池。

摘要由CSDN通过智能技术生成

实体关系抽取数据处理之句子分词

使用Python的'jieba'库进行中文分词,将数据处理为'[[sentence, [entity1,...], [sentence_seg]], ...]'的格式.然后收集所有分词后的句子,作为语料库使用Python的'word2vec'库训练词向量.
为防止实体被错误分词,将所有实体(实体字典的键集合)写入文件'dict.txt'作为用户字典.定义文件'stop_word.txt',在分词过程中对句子去除中文停用词.

在这里插入图片描述

pool类

在使用Python进行系统管理时，特别是同时操作多个文件目录或者远程控制多台主机，并行操作可以节约大量的时间。如果操作的对象数目不大时，还可以直接使用Process类动态的生成多个进程，十几个还好，但是如果上百个甚至更多，那手动去限制进程数量就显得特别的繁琐，此时进程池就派上用场了。
Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一