[2022]利用python生成最近很火的电视剧开端豆瓣评论词云图

不说废话 代码如下:

# 使用import导入requests模块
import requests

# 从bs4中导入BeautifulSoup
from bs4 import BeautifulSoup

# 使用import导入jieba模块
import jieba

# pyecharts 是一个用于生成 echarts 图表的类库。从 pyecharts 库中导入 WordCloud 模块,使用相关代码,可以生成一个html文件
# 从pyecharts.charts中导入WordCloud模块
from pyecharts.charts import WordCloud

# 以上模块在终端下安装 安装命令为pip install 对应模块名称 如下载速度慢
# 可用国内镜像源 如清华源   pip install  你要安装的模块 -i https://pypi.tuna.tsinghua.edu.cn/simple/

# 将开端豆瓣评论URL地址,赋值给变量url
# limit=1000表示前1000条评论
url = "https://movie.douban.com/subject/35332289/comments?percent_type=h&limit=1000&status=P&sort=new_score"

# 将User-Agent以字典键对形式赋值给headers
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"}

# 将 url 和 headers参数,添加进requests.get()中,将字典headers传递headers参数,给赋值给response
response = requests.get(url, headers=headers)

# response.text与response.content的区别
# 返回数据类型
# response.text 返回的是一个 unicode 型的文本数据
# response.content 返回的是 bytes 型的二进制数据
# 也就是说如果想取文本数据可以通过response.text 如果想取图片,文件,则可以通过 response.content
# 数据编码
# response.content 返回的是二进制响应内容
# response.text 则是默认”iso-8859-1”编码,服务器不指定的话是根据网页的响应来猜测编码。

# 将服务器响应内容转换为字符串形式,赋值给html
html = response.text

# 使用BeautifulSoup()传入变量html和解析器lxml,赋值给soup
soup = BeautifulSoup(html, "lxml")

# 使用find_all()查询soup中class="short"的节点,赋值给content_all
content_all = soup.find_all(class_="short")

# 创建一个空白列表wordList
wordList = []

# for循环遍历content_all
for content in content_all:
    # 获取每个节点中标签内容,赋值给contentString
    contentString = content.string

    # 使用jieba.lcut()将contentString进行分词,赋值给words
    # jieba.lcut() 函数返回的结果是列表,有多少条短评,就有多少个列表生成。
    words = jieba.lcut(contentString)

    # 使用列表合并的方法 ,列表 wordList 与列表 words 用 + 运算符合并,将多个列表合并成一个列表。
    wordList = wordList + words

# 创建一个空白字典wordDict
wordDict = {}

# for循环遍历列表wordList
for word in wordList:

    # 判断为这几个词语时
    # 使用词频统计的方法,对词语出现的次数进行统计,并剔除了一些标点符号
    if word == ".." or word == "......" or word == "。":
        # 继续下次循环
        continue

    # 如果列表中的元素长度大于1
    if len(word) > 1:
        # 如果该元素不存在字典的键中
        if word not in wordDict.keys():
            # 将字典中键所对应的值设置为1
            wordDict[word] = 1
        # 否则
        else:
            # 将字典中键所对应的值累加
            wordDict[word] = wordDict[word] + 1


# 词云图是文本数据的视觉表示,由词汇组成类似云的彩色图形,用于展示大量文本数据。
# 词云图是对文字中出现频率较高的“关键词”的视觉上的突出,过滤掉大量的文本信息,使浏览者只要一眼扫过就可以领略主旨。

# 创建WordCloud对象,赋值给wordCloud
wordCloud = WordCloud()

# add() 函数可以设置词云图的内容,例如:展示文字,字体大小等,
# 系列名称(series_name)指的是数据的统称
# data_pair的值为字典wordDict转换成由元组组成的列表;data_pair 参数是指传入词云图中的数据,它的值的格式为:
# [(word1, count1), (word2, count2)] 这是一个由元组组成的列表,列表中的每项都是元组。word 是词云图中的文字;count 是文字的词频。
# items() 函数,将字典 wordDict中的每对 key 和 value 组成一个元组,并把这些元组放在列表中返回
# word_size_range 用来设置词云图中字体大小范围,它的数据类型是列表。
#  word_size_range的默认值为[12, 60],12代表着词云图中频率最低的词语大小,60代表着词云图中频率最高的词语大小。将word_size_range的值设置为[10,100]。
wordCloud.add(series_name="开端豆瓣评论云图", data_pair=wordDict.items(), word_size_range=[5, 100],width=2000, height=1600,)

# render() 函数默认将词云图以html格式存储在代码所在文件夹内。
# 使用wordCloud.render()存储文件,设置文件名为kaiduan_wordcloud.html
wordCloud.render("kaiduan_wordcloud.html")

# 使用print输出 success
print("开端的豆瓣评论点云图生成成功啦")
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值