python爬虫——爬取某电影Top250

张謹礧

已于 2023-05-28 10:12:19 修改

阅读量415

点赞数 1

分类专栏： python爬虫+可视化 python网络爬虫文章标签： python 爬虫开发语言

于 2023-05-28 10:09:03 首次发布

本文链接：https://blog.csdn.net/weixin_66547608/article/details/130909750

版权

python网络爬虫同时被 2 个专栏收录

10 篇文章 5 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

python爬虫+可视化

10 篇文章 1 订阅

订阅专栏

该博客介绍了如何使用Python进行网络爬虫，详细讲解了通过requests库获取网页源码，利用BeautifulSoup解析HTML，提取豆瓣电影Top250的数据，并将这些信息存储到CSV文件中，每部电影作为一个单独的行记录。

摘要由CSDN通过智能技术生成

这是一个爬取豆瓣电影Top250并将数据写入CSV文件的Python程序。具体功能如下：

1. 通过requests库发送HTTP请求获取网页源码；
2. 使用BeautifulSoup库解析源码，提取所需的信息；
3. 将数据写入CSV文件中，每一部电影一行；
4. 主函数循环25次，每次请求一个页面，解析页面中的电影信息。

import requests
import bs4
import csv
import time

# 创建csv文件
file = open("豆瓣电影Top250.csv", 'w', encoding='utf-8', newline='')
# 写方法
data_write = csv.writer(file)
# 写入表头
data_write.writerow(('电影名称', '上映年份', '导演', '评分', '评论人数', '主演'))

# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}

# 构造URL
de