jieba分词及词性标注

最新推荐文章于 2023-09-30 23:47:47 发布

第9527号小白

最新推荐文章于 2023-09-30 23:47:47 发布

阅读量278

点赞数

文章标签： jieba 词性标注

本文链接：https://blog.csdn.net/weixin_43976085/article/details/96899286

版权

使用jieba库进行中文分词，并对分词结果进行词性标注，过程虽然简单但耗时，代码实现不简洁，提醒我们持续学习的重要性。

摘要由CSDN通过智能技术生成

jieba分词及词性标注
想着先分词，再给分过的词标注词性
很简单但是弄了蛮久
代码也不简便
要学习啊
鸡汤：脚踏实地，眼看前方

import jieba
import jieba.posseg as pseg
jieba.load_userdict('userdict1.txt')


# 创建停用词list
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
    return stopwords

# 对句子进行分词
def seg_sentence(sentence):
    sentence_seged = jieba.posseg.cut(sentence.strip())
    stopwords = stopwordslist('stop_words.txt')  ## 这里加载停用词的路径
    outstr = ''
    for pairs in sentence_seged:
        # print(pairs)
        # print('.'*60)
        for word in pairs:
            # print(word)
            # print('='*50)
            if word not in stopwords:
                if word != '\t':
                    # print(word)
                    # print('>'*50)
                    outstr += word