【中文分词】使用LSTM网络实现中文分词

最新推荐文章于 2024-08-07 11:38:54 发布

人木

最新推荐文章于 2024-08-07 11:38:54 发布

阅读量6.8k

点赞数 5

分类专栏： NLP 文章标签：分词 LSTM Tensorflow

本文链接：https://blog.csdn.net/qq_36534601/article/details/82736756

版权

本文介绍了一种使用LSTM网络进行中文分词的方法，通过预处理语料库，训练词向量，然后利用LSTM模型进行训练，最终实现对测试句子的分词。文中详细阐述了预处理过程，包括去除词性、生成词向量、建立词典映射，并使用gensim训练词向量。接着，通过Lstm_Net类构建并训练LSTM模型。最后，展示了如何使用训练好的模型对新的句子进行分词。

摘要由CSDN通过智能技术生成

# # 使用LSTM网络实现中文分词

本文使用jupyter notebook编辑，导出为py文件，去掉不加注释的本段后可直接执行（前提是下载了整个项目，且文件地址正确配置）。项目git地址为 git@github.com:renmu2017/Segmentor.git 。本文仅介绍主要流程，具体方法的实现在代码中，有需要的朋友可自行下载

# 当前中文分词已有很多成熟的模块可直接调用，如哈工大的LTP和结巴分词等。本文介绍采用对语料中单字SBME四种标注，通过LSTM记忆上下文关系的方法，使用神经网络进行单字标注，将结果合并为分词结果的方法。
# 其中S为Single独立字符，单字或符号成词；B为beginning，标注词的开始；M为middle，标注词中间的字；E为endding，标注词的结束。

# ## 1-预处理

# 首先将语料库导入程序
from com.zhanghao.util.seqlib import *
from com.zhanghao.util.data_process import *

corpuspath = '/pfr/199801.txt'
input_text = load_file(corpuspath)

# 去除掉标注好的词性，将语料库处理为二维列表，以每句话中的每个词为列表中的一个元素。为生成word2vec词向量做准备
txtwv = [remove_list_tag(line.strip().split()[1:]) for line in input_text.split('\n') if line != '']
standard_corpus = '/pfr/corpus.txt'

# 调用gensim中的word2vec，训练词向量。向量维度为100。结果保存至wordvector.bin文件中
w2v = trainW2V(txtwv)
w2v.save('/pfr/wordvector.bin')

# w2v['中国']值为[ 1.2523148 , -0.05151131, 。。。。。。 -0.8312615 ]，长度为100维

corpuspath = '/pfr/199801.txt'
standardcorpus = '/pfr/corpus.txt'
input_text = load_file(corpuspath)

# 计算语料中的词频，并按词频降序排列，生成index,加入到DataFrame中
#计算词频