机器学习入门-文本数据-构造Ngram词袋模型 1.CountVectorizer(ngram_range) 构建Ngram词袋模型...

最新推荐文章于 2024-04-25 15:15:15 发布

VIP文章 weixin_34378045

最新推荐文章于 2024-04-25 15:15:15 发布

阅读量2.5k

点赞数 4

文章标签：人工智能 python

原文链接：http://www.cnblogs.com/my-love-is-python/p/10324709.html

版权

函数说明：

1 CountVectorizer(ngram_range=(2, 2)) 进行字符串的前后组合，构造出新的词袋标签

参数说明：ngram_range=(2, 2) 表示选用2个词进行前后的组合，构成新的标签值

Ngram模型表示的是，对于词频而言，只考虑一个词，这里我们在CountVectorizer统计词频时，传入ngram_range=(2, 2)来构造新的词向量的组合

好比一句话'I like you'

如果ngram_range = (2, 2)表示只选取前后的两个词构造词组合 :词向量组合为：’I like‘ 和 ’like you‘

如果ngram_range = (1, 3) 表示选取1到3个词做为组合方式: 词向量组合为: 'I', 'like', 'you', 'I like', 'like you', 'I like you' 构成词频标签

代码：

第一步：构造Dataframe格式，并数组化数据

第二步：构造函数进行分词和去除停用词，并使用空格进行串接，为了分词做准备

第三步：np.vectorize 向量化函数，并调用函数进行分词和去除停用词

第四步：使用CountVectorizer(ngram_range(2, 2)) 进行文本的词向量拼接

import pandas as pd
import numpy as np
import re
import nltk #pip install nltk


corpus = ['The sky is blue and beautiful.',
          <

关注