Python 爬虫 案例 之 豆瓣Top250电影数据

本文介绍了如何使用Python爬虫获取豆瓣Top250电影数据,涉及requests模块发送请求、parsel解析数据以及将数据保存到csv文件。通过动态数据抓包、多页爬取等技术进行实战演示。
摘要由CSDN通过智能技术生成

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

课程亮点:

1、动态数据抓包演示

2、csv文件保存

3、requests模块的使用

4、parsel解析数据的使用

环境介绍:

  • python 3.8

  • pycharm

模块使用:

  • requests >>> pip install requests

  • parsel >>> pip install parsel

  • csv

第三方模块安装:win + R 输入cmd 输入安装命令 pip install 模块名

写代码代码基本步骤:

  1. 发送请求, 确定url地址 然后对其发送请求

  2. 获取数据, 获取服务器返回的响应数据内容

  3. 解析数据, 提取我们想要内容

  4. 保存数据

  5. 多页数据爬取

代码展示

导入模块

import requests  # 数据请求模块 第三方模块 pip install requests
import parsel  # 数据解析模块 第三方模块 pip install parsel
import csv
import time # 时间模块

保存数据

f = open('豆瓣Top250.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '导演',
    '演员',
    '电影年份',
    '拍摄国家',
    '电影类型',
    '电影评分',
    '评论人数'
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值