前言
网络爬虫(Web Crawler),也称为网页蜘蛛(Web Spider)或网页机器人(Web Bot),是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。
爬虫的基本原理
- 种子 URL:爬虫从一个或多个种子 URL 开始,这些 URL 是起点。
- 发送请求:爬虫向这些种子 URL 发送 HTTP 请求,通常是 GET 请求。
- 获取响应:服务器返回网页的 HTML 内容作为响应。
- 解析内容:爬虫解析 HTML 内容,提取所需的数据(如文本、链接、图片等)。
- 提取链接:从网页中提取出所有链接,并将这些链接加入待访问队列。
- 重复过程:爬虫重复上述步骤,直到达到某个停止条件,如爬取了一定数量的页面,或所有页面都被爬取完毕。
爬虫的分类
-
通用爬虫
- 设计用于抓取整个互联网的大量网页。搜索引擎(如 Google、Bing)的爬虫就是通用爬虫。
-
聚焦爬虫
- 专注于特定主题或领域,抓取相关网页。比如,一个新闻爬虫只抓取新闻网站的内容。
-
增量爬虫
- 仅抓取自上次爬取以来发生变化或更新的网页,适用于动态内容更新频繁的网站。
爬虫的合法性和道德
在编写和运行爬虫时,必须遵循以下原则:
-
遵守网站的
robots.txt
:-
大多数网站都有一个
robots.txt
文件,规定了哪些页面允许被爬取,哪些不允许。爬虫应当尊重这些规则。
-
-
避免过度抓取:
- 设置适当的抓取频率,避免对服务器造成过大负担。
-
尊重版权和隐私:
- 不应抓取或使用受版权保护的内容,或涉及用户隐私的数据。
-
获取许可:
- 在某些情况下,最好获得网站管理员的许可,特别是当你打算频繁地抓取大量数据时。
通过以上方法和原则,可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
侦察
目标网页如下
第一页只有 25 部电影,点击第二页可以看到参数变了
第三页则是50,每次增加 25
重新回到第一页则是 0
请求地址与请求方式
请求参数
我们需要获取电影名称、电影图片、电影排名、电影评分、电影作者、电影简介
源代码
import requests
from bs4 import BeautifulSoup
# 起始页
num = 0
# 伪造请求头
headers = {
'cookie': 'bid=QV_MlgFcmAo; _pk_id.100001.4cf6=44156185ea4b5a12.1722673221.; _pk_ses.100001.4cf6=1; ap_v=0,6.0; __utma=30149280.589452502.1722673221.1722673221.1722673221.1; __utmb=30149280.0.10.1722673221; __utmc=30149280; __utmz=30149280.1722673221.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.2072540539.1722673221.1722673221.1722673221.1; __utmb=223695111.0.10.1722673221; __utmc=223695111; __utmz=223695111.1722673221.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __yadk_uid=QXpQVf7kA1OqKukLW6RfmG91ygzrFVaG; ll="118266"; _vwo_uuid_v2=DC4BB68DBF5FB2CC75EBAC4BE55611A10|198aa176e5ed138f9a7b172497184e4b',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'
}
# 创建字典保存数据
dic = {}
while num < 226:
# 请求地址
url = f'https://movie.douban.com/top250?start={num}&filter='
# 请求数据
response = requests.get(url, headers=headers)
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'lxml')
# 找到页面上的第一个<ol>标签
ol_tag = soup.find_all('ol', class_='grid_view')
# 提取<ol>标签下的所有<li>元素
li_elements = ol_tag[0].find_all('li')
# 循环保存<li>元素中的数据
for li in li_elements:
# .get_text() 方法有几个参数,其中 strip 是一个常用的参数,它接受一个布尔值(True 或 False)
# 当 strip 参数设置为 True 时,.get_text() 方法会去除从标签中提取的文本的首尾空白字符
# 当 strip 参数设置为 False 或者不提供该参数时,.get_text() 方法会保留文本的首尾空白字符
# 电影名称
title = li.find('div', class_='item').find('div', class_='info').find('div', class_='hd').find('a').find('span', class_='title').get_text(strip=True)
# 电影图片
pic = li.find('div', class_='item').find('div', class_='pic').find('a').find('img').get('src')
# 电影排名
em = li.find('div', class_='item').find('div', class_='pic').find('em').get_text(strip=True)
# 电影评分
rating_num = li.find('div', class_='item').find('div', class_='info').find('div', class_='bd').find('div', class_='star').find('span', class_='rating_num').get_text(strip=True)
# 电影作者
author = li.find('div', class_='item').find('div', class_='info').find('div', class_='bd').find('p').get_text(strip=True)
# 电影简介(可能不存在,需要检查)
quote = None # 初始化quote为None,以备不时之需
quote_div = li.find('div', class_='item')
if quote_div:
info_div = quote_div.find('div', class_='info')
if info_div:
bd_div = info_div.find('div', class_='bd')
if bd_div:
quote_p = bd_div.find('p', class_='quote')
if quote_p:
quote_span = quote_p.find('span', class_='inq')
quote = quote_span.get_text(strip=True) if quote_span else '未提供'
dic = {
'电影名称': title,
'电影图片': pic,
'电影排名': em,
'电影评分': rating_num,
'电影作者': author,
'电影简介': quote
}
print(dic)
num += 25
项目效果