【实例1—爬取豆瓣TOP250】

[python爬虫笔记]

💕学习爬虫的第五天💕

昨天，简单给大家介绍了数据解析中的RE的语法和用法。今天，简单做个实例——爬取豆瓣TOP250，体验一下核心的代码流程，并在文章的最后将源码给到大家，望大家多多指正。🧡🧡🧡

爬虫的核心包含以下几个部分：

1. 导入包；

# 1. 导入包
import requests  # 请求包
import re  # 正则表达式
import csv

2. 获取原页面数据来源的url；

# 2. 获取原页面数据来源的url
"""
数据的请求来源有两种：
1、客户端   2、服务器端
"""
url = "https://movie.douban.com/top250"

3. 使用requests获取页面源代码；

# 3. 使用requests获取页面源代码
# 设置headers
hea = {
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"
}
# resp = requests.get(url)
# print(resp)  # <Response [418]> =>表明请求头有问题，需要设置headers
resp = requests.get(url, headers=hea)
# print(resp.text)  # <Response [200]> => 表明已经可以拿到页面源代码了

4. 使用re(正则表达式)解析页面源代码；

# 4. 使用re(正则表达式)解析页面源代码
# 使用compile()设置预加载正则，提高效率
obj = re.compile(
    r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?<p class="">.*?.<br>'
    r'(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?<span>(?P<num>.*?人评价)</span>',
    re.S)
# 开始解析源码
result = obj.finditer(resp.text)

注：这里编写预加载正则时需要注意的是，要分清楚.*?的位置。也就是从哪里开始过滤和提取内容到哪里哪里结束。这里需要仔细辨认细节处，如果正则不对，很有可能会是[]或者报错。

5. 解析、遍历源码，拿到想要的数据；

# 5. 遍历源码，拿到想要的数据
 for it in result:
     print(it.group('name'))  # 电影名字
     print(it.group('year').strip())  # 年份
     print(it.group('score'))  # 评分
     print(it.group('num'))  # 评价人数

6. 此时已经可以拿到对应结果，将结果保存在csv文件中。

# 6. 此时已经可以拿到对应结果，将结果保存在csv文件中
f = open("top250.csv", "w", encoding="utf-8")
# 此时需要将f传给csvwrite
csvwrite = csv.writer(f)
for it in result:
    # 数据整理成字典形式
    dic = it.groupdict()  # 这里面已经包含了所有要添加的字段，即包含了name/num/year/score等
    dic['year'] = dic['year'].strip()  # 将year做一个特殊的处理，即更新一下year的格式，重新赋值给字典中的year
    csvwrite.writerow(dic.values())  # 将值写到文件中

注：这里需要注意的是csv中有两种写文件的方式，分别是writerow()和writerows()函数。它们的写入方式有很大不同，所以需要我们做个区分。

csv文件中writerow()和writerows()函数的区别

CSV（逗号分隔值）是一种常见的文件格式，用于存储表格数据。在Python中，我们可以使用csv模块来创建和写入CSV文件。这个模块提供了两个主要的方法：writerow()和writerows()，它们可以用来写入CSV文件。

writerow()函数

用于将一个列表（或其他可迭代对象）写入CSV文件的一行。它的语法如下：

csv.writerow(row)

其中，row是一个包含要写入CSV文件的值的列表。这些值会被自动添加逗号分隔符，并写入CSV文件的一行中。

import csv# 打开CSV文件并创建写入器对象
with open('data.csv', mode='w', newline='') as csvfile:writer = csv.writer(csvfile)
# 写入数据行
writer.writerow(['Name', 'Age', 'Gender'])
writer.writerow(['John Doe', 30, 'Male'])
writer.writerow(['Jane Smith', 25, 'Female'])

在这个例子中，我们首先打开一个名为’data.csv’的文件，并创建一个写入器对象。然后，我们使用writerow()函数将三行数据写入CSV文件。注意，每一行的数据都是一个列表，包含要写入CSV文件的值。
例如样式：

writerows()函数

csv.writerows(rows)

其中，rows是一个包含要写入CSV文件的值的列表的列表（或其他可迭代对象）。这些值会被自动添加逗号分隔符，并写入CSV文件的相应行中。

例如样式：