Python爬虫小白教学篇：豆瓣9

美好前端开发者

于 2024-04-30 15:02:22 发布

阅读量204

点赞数 4

分类专栏：程序员文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/m0_61549674/article/details/138346300

版权

程序员专栏收录该内容

170 篇文章 0 订阅

订阅专栏

本文介绍了使用Python的BeautifulSoup和requests库抓取豆瓣电影评论，提取热评内容，并使用WordCloud进行关键词可视化。作者强调了系统学习和动手实践的重要性。

摘要由CSDN通过智能技术生成

所以我们只需获取全部class值为short的span标签即可获取当前页面全部热评

在这里插入图片描述

spans = data.find_all(class_="short")
for i in spans:
     global_text += ",".join(jieba.cut(str(i.text).strip()))

完整代码

import matplotlib.pyplot as plt
import wordcloud
import jieba
from imageio import imread
import requests
from bs4 import BeautifulSoup


global_text = ""

def getDetail(data):
    global global_text
    data = BeautifulSoup(data,"html.parser")
    spans = data.find_all(class_="short")
    for i in spans:
        global_text += ",".join(jieba.cut(str(i.text).strip())) # 对获取到的热评分词


def toWordCloud():
    global global_text
    mask = imread("./9.png") #设置背景图
    wcd = wordcloud.WordCloud(
        font_path="C:\Windows\Fonts\msyh.ttc",
        background_color='white', #设置背景颜色
        random_state=80, # 颜色种类
        mask=mask)
    wcd.generate(global_text)

    wcd.to_file("res.jpg") #保存为图片
    plt.imshow(wcd)
    plt.axis('off')
    plt.show()


if __name__ == '\_\_main\_\_':
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64"
    }
    url = 'https://movie.douban.com/subject/30228394/comments?percent\_type=h&start={}&limit=20&status=P&sort=new\_score'
    for i in range(6,10):
        new_url = url.format(i \* 20)
        response = requests.get(url=url,headers=headers)
        response.encoding = 'utf-8'
        getDetail(response.text)

    toWordCloud()