Python爬虫小白教学篇：豆瓣9(1)，2024年最新开发面试技巧

本文链接：https://blog.csdn.net/m0_60606468/article/details/137791471

本文是针对Python爬虫初学者的教学指南，作者分享了自身经历及大厂面试技巧。内容包括Python全栈知识图谱、学习路线、软件推荐、PDF电子书、入门视频、实战案例和面试资料，旨在帮助读者系统学习并提升Python技能，资料获取方式见文中。

摘要由CSDN通过智能技术生成

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

但是，热评具体又存储在class值为comment-itemdiv标签下的class值为short的span标签下

所以我们只需获取全部class值为short的span标签即可获取当前页面全部热评

在这里插入图片描述

spans = data.find_all(class_="short")
for i in spans:
     global_text += ",".join(jieba.cut(str(i.text).strip()))

完整代码

import matplotlib.pyplot as plt
import wordcloud
import jieba
from imageio import imread
import requests
from bs4 import BeautifulSoup


global_text = ""

def getDetail(data):
    global global_text
    data = BeautifulSoup(data,"html.parser")
    spans = data.find_all(class_="short")
    for i in spans:
        global_text += ",".join(jieba.cut(str(i.text).strip())) # 对获取到的热评分词


def toWordCloud():
    global global_text
    mask = imread("./9.png") #设置背景图
    wcd = wordcloud.WordCloud(
        font_path="C:\Windows\Fonts\msyh.ttc",
        background_color='white', #设置背景颜色
        random_state=80, # 颜色种类
        mask=mask)
    wcd.generate(global_text)

    wcd.to_file("res.jpg") #保存为图片
    plt.imshow(wcd)
    plt.axis('off')
    plt.show()


if __name__ == '\_\_main\_\_':
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64"
    }
    url = 'https://movie.douban.com/subject/30228394/comments?percent\_type=h&start={}&limit=20&status=P&sort=new\_score'
    for i in range(6,10):
        new_url = url.format(i \* 20)
        response = requests.get(url=url,headers=headers)
        response.encoding = 'utf-8'
        getDetail(response.text)

    toWordCloud()