1998年人民日报语料库，词的最长，最短匹配提取问题，

最新推荐文章于 2023-03-15 15:45:01 发布

life1024

最新推荐文章于 2023-03-15 15:45:01 发布

阅读量3.9k

点赞数 1

分类专栏： NLP

本文链接：https://blog.csdn.net/u013378306/article/details/60877786

版权

NLP 专栏收录该内容

45 篇文章 41 订阅 ¥49.90 ¥99.00

订阅专栏

该博客探讨了1998年人民日报语料库中遇到的词提取问题，针对包含复杂词汇的情况，提出了采用最长词和最短词匹配的策略进行信息提取。

摘要由CSDN通过智能技术生成

由于语料中包括

 [中央/n  人民/n  广播/vn  电台/n]nt

此类词问题，可以选择最长词提取，也可以选择最短词提取

# -*- coding: utf-8 -*-
import codecs

wordfile=codecs.open("199801.txt",encoding="gbk")
curpusfile=codecs.open("curpus.txt",'w', 'utf-8')

def max_word():#最长匹配  提取[中央/n  人民/n  广播/vn  电台/n]nt  样式的词，最长词，如 :中央人民广播电台/n
    for sentence in wordfile.readlines():
        words= sentence.strip().split(" ")
        b_flag = 0
        b_word=""
        for word in words:  #提取[中央/n  人民/n  广播/vn  电台/n]nt  样式的词，最长词，如 :中央人民广播电台/n
            if word.s

了解本专栏