txt文件按空格分词转化成列表,并绘制词云

txt文件:

在这里插入图片描述

data = []
with open('data/data.txt','r', encoding='utf-8') as f:
    for line in f:  # 读取每行,line是字符串格式
        '''split():将字符串按空格分成列表'''
        data.append(line.split())
print(data)

在这里插入图片描述

'''将嵌套的列表合并成一个列表'''
merge=sum(data,[])
print(merge)

在这里插入图片描述

from wordcloud import WordCloud
from collections import Counter
'''使用函数Counter,可以迅速获取list中每个元素出现的次数'''
'''还会按照次数从大到小排序'''
freq_pos = Counter(merge)
print(freq_pos)

在这里插入图片描述

'''绘制词云'''
backgroud_Image=plt.imread('data/pl.jpg')
wordcloud = WordCloud(font_path="STZHONGS.ttf",
                      max_words=50,
                      background_color='white',
                      mask=backgroud_Image)
pos_wordcloud = wordcloud.fit_words(freq_pos)
plt.imshow(pos_wordcloud)
plt.axis('off') 
plt.show()

在这里插入图片描述

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Lucene 5.5是一个开源的Java搜索引擎库,用于文本分析、索引和搜索。在Lucene中,分词器(Tokenizer)是用于将输入文本按照特定规则切分(token)的工具。 Lucene 5.5提供了多种分词器,常用的有标准分词器(StandardTokenizer)、简单分词器(SimpleAnalyzer)、关键字分词器(KeywordAnalyzer)等。这些分词器在应用场景和切分规则上有所不同,用户可以根据需求选择合适的分词器。 标准分词器是Lucene中最常用的分词器之一,它通过去除空格、标点符号等特殊字符,将输入文本切分一系列单。这个过程叫做法分析(tokenizing)。标准分词器还提供了一些附加的文本处理功能,例如将单转换为小写(lowercasing)、去除停用(stopwords)等。 简单分词器是一个基本的分词器,它将输入文本用空格切分,并将单转换为小写。这个分词器在某些简单的搜索场景中会有一定的使用价值。 关键字分词器则是将整个输入文本当作一个单进行处理,适用于某些特殊的搜索需求。例如,当用户输入一个关键字作为搜索条件时,关键字分词器可以直接将整个关键字当作一个单进行匹配。 除了以上提到的分词器,Lucene还提供了其他各种特定场景下的分词器,例如CJK分词器适用于中日韩文本的分词,Whitespace分词器将输入文本按照空格进行切分等等。 总结来说,Lucene 5.5提供了多种分词器供用户选择,根据不同的文本分析需求和搜索场景,选择合适的分词器可以提高搜索的效果和准确性。 ### 回答2: Lucene 5.5 是一款开源的全文搜索引擎库,其中的分词器是其核心组件之一。分词器用于将输入的文本进行切分,生列表,以便进行索引和搜索。 Lucene 5.5 提供了多种分词器,常用的有标准分词器(StandardAnalyzer)和中文智能分词器(SmartChineseAnalyzer)。 标准分词器是最常用的分词器之一,它基于语法规则对文本进行切分,以空格、标点符号等作为分隔符。它能够处理英文等非中文文本,但对于中文文本效果不佳,因为中文没有明确的分隔符。 中文智能分词器是专门针对中文文本设计的分词器,它不仅考虑了语法规则,还结合了汉字之间的概率关联关系对文本进行切分。通过对大量的中文语料进行训练,智能分词器可以较好地解决中文分词中的歧义性问题,提升分词的准确性和效果。 除了以上两种分词器,Lucene 5.5 还提供了其他一些适用于特定场景的分词器,如关键字分词器(KeywordAnalyzer)和简单分词器(SimpleAnalyzer)。用户也可以根据自己的需求自定义分词器,通过实现接口来自定义汇的切分规则。 总之,Lucene 5.5 分词器是一系列能够对文本进行切分的工具,包括了多种分词算法和规则,以满足不同场景下的需求。通过合理选择和应用分词器,可以提高全文搜索引擎的准确性和效率,为用户提供更好的搜索体验。 ### 回答3: Lucene 5.5 是一个开源的全文搜索引擎库,其中包含了许多功能强大的分词器。 在Lucene 5.5中,分词器是用于将文本分单个的语或元的组件。这对于搜索引擎的索引构建和查询处理非常重要。在Lucene中,我们可以使用不同类型的分词器来满足不同的需求。 Lucene 5.5提供了许多内置的分词器。其中最常用的是StandardAnalyzer,它是基于标准英语规则的分词器,它可以将文本分,并过滤掉一些常见的停用。此外,还有KeywordAnalyzer,它将文本视为一个整体,不对其进行分词。另外还有SimpleAnalyzer,它将文本按照非字母字符进行分割,并将其小写化。还有WhitespaceAnalyzer,它将文本按照空格进行分割。 除了这些内置的分词器,Lucene 5.5还支持自定义的分词器。开发人员可以根据自己的需求实现自己的分词器。自定义分词器需要实现TokenStream接口,该接口定义了文本分词后的元流。 通过使用Lucene 5.5的分词器,我们可以将待搜索的文本分单个的语或元,从而提高搜索的准确性和效率。分词器是搜索引擎中一个非常关键的组件,它的质量和性能直接影响着整个搜索过程的效果。因此,了解和选择适合的分词器是非常重要的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值