使用Python制作词云

目录

 相关原理

爬虫：从网上爬取数据，我使用的是Urllib库

分词：本次实验使用的是结巴分词，我们需要先导入 jieba的库。

词云：

设计思想 

实现过程 

结果

 相关原理

爬虫：从网上爬取数据，我使用的是Urllib库

其语法如下，在本次实验中只使用了参数url。

 

在发送请求后，网站会返回相应的响应内容。urlopen对象提供获取网站响应内容的方法函数:

分词：本次实验使用的是结巴分词，我们需要先导入 jieba的库。

结巴分词的特点有

支持三种分词模式：

精确模式，试图将句子最精确地切开，适合文本分析；

全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

主要功能有：

jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用

jieba.lcut 以及jieba.lcut_for_search 直接返回 list

jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器，所有全局分词相关函数都是该分词器的映射。

本次实验使用的是jieba.lcut这个函数进行分词。并使用Countter计数器进行统计词频。

词云：

        Word Cloud库是优秀的词云展示第三方库，词云以词语为基本单位，更加直观和艺术的展示文本。通常的操作步骤：首先把文本分词处理，然后用空格拼接，最后再调用Word Cloud库函数处理。

设计思想 

本次实验的整体设计思想分为四个部分

1. 使用网络爬虫将网上的文章进行爬取下来存储到english.txt文件中
2. 使用jieba分词将english.txt文件中的英文文章进行分词
3. 进行分词后在进行统计词频并以字典的方式存储
4. 将统计词频后的数据导入到词云中进行词云制作

实现过程 

在进行爬取网页数据的过程中我使用的是Urllib库

使用下方函数进行爬取 

使用下方函数将爬取的数据保存到english.txt文本文档中

 在进行文本分词的时候，我使用的是jieba库

使用下方函数进行分词

 

在进行统计词频的时候，我使用Count计数器

使用下方函数进行统计词频，并以字典的形式保存。

我们使用一个for循环来查找出现频率最高的十五个单词

同样使用for循环来查找长度大于6并包含6的单词的个数

使用wordcloud包进行制作词云

制作词云，并导入统计词频后的文本

最后保存词云到同名目录下即可

结果

输出结果：

词云图：

源码

# author: #

# 输入库
import jieba
import wordcloud
from collections import Counter
from urllib.request import urlopen
textPage=urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")
fileObject = open('english.txt', 'wb+')  # "wb+"是指 按二进制的方式打开

for ip in textPage:

    fileObject.write(ip)

# fileObject.write('\n')

fileObject.close()

print(textPage.read())
from pathlib import Path
# 读取后关闭txt文件
file = open("english.txt", "r", encoding="utf-8")  # 文件格式是utf-8，文件名是xxx.txt
t = file.read()
file.close()

# jieba分词
ls = jieba.lcut(t)
txt = " ".join(ls)
count1 = Counter(ls)
most_count1=count1.most_common()
words_list1 = []
#统计出现频率最高的十五个单词
for i in most_count1:

    if len(i[0]) >=2 and len(i[0]) <=100:

        words_list1.append(i)
print("出现频率最高的十五个单词：")
print(words_list1[:5])
print(words_list1[5:10])
print(words_list1[10:15])
num = 0
for i in most_count1:
    if len(i[0]) >=6 :
        num+= 1
print("长度为6个以上（含6个）字母的单词个数:",num,"个")

# words = jieba.lcut(text_content)
# 用Counter方法计算单词频率数



 #  设置词云图
w = wordcloud.WordCloud(
    font_path="C:/Windows/Fonts/STXINGKA.TTF",  # 词云字体
    width=1000,  # 图片宽度
    height=800,  # 图片高度
    background_color="white")  # 图片背景颜色

# 将文字导入词云
w.generate(txt)

# 保存词云图
w.to_file("wordcloud.png")