Python 爬虫案例之豆瓣Top250电影数据

「已注销」

于 2023-11-28 15:10:07 发布

阅读量923

点赞数 14

分类专栏：爬虫小案例文章标签： python 爬虫开发语言 pycharm 学习

本文链接：https://blog.csdn.net/weixin_62853513/article/details/134667971

版权

本文介绍了如何使用Python爬虫获取豆瓣Top250电影数据，涉及requests模块发送请求、parsel解析数据以及将数据保存到csv文件。通过动态数据抓包、多页爬取等技术进行实战演示。

摘要由CSDN通过智能技术生成

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

课程亮点：

1、动态数据抓包演示

2、csv文件保存

3、requests模块的使用

4、parsel解析数据的使用

环境介绍：

python 3.8
pycharm

模块使用：

requests >>> pip install requests
parsel >>> pip install parsel
csv

第三方模块安装：win + R 输入cmd 输入安装命令 pip install 模块名

写代码代码基本步骤:

发送请求, 确定url地址然后对其发送请求
获取数据, 获取服务器返回的响应数据内容
解析数据, 提取我们想要内容
保存数据
多页数据爬取

代码展示

导入模块

import requests  # 数据请求模块 第三方模块 pip install requests
import parsel  # 数据解析模块 第三方模块 pip install parsel
import csv
import time # 时间模块

保存数据

f = open('豆瓣Top250.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '导演',
    '演员',
    '电影年份',
    '拍摄国家',
    '电影类型',
    '电影评分',
    '评论人数'