网络爬虫：爬取静态网页与动态网页

网络爬虫中抓取静态网页的详解

一、教学框架

1. 静态网页的简介
2. 静态网页的抓取原理
3. 使用网络爬虫抓取静态网页的方法
4. 示例代码与实战演练

二、内容详解 

 1、静态网页的简介

• 定义: 静态网页是指内容在服务器上预先生成，并在客户端（浏览器）上静态显示的网页。页面内容不会根据用户的行为或外部因素发生动态变化。
• 特点: 通常使用HTML、CSS和JavaScript等技术进行开发，页面在服务器端渲染后发送到客户端，不会通过JavaScript或其他技术动态更新内容。

2、静态网页的抓取原理 

• HTTP请求: 网络爬虫通过发送HTTP请求获取静态网页的内容。常见的请求方法包括GET、POST等，其中GET请求用于请求指定的页面内容。
• 服务器响应: 当服务器收到爬虫的请求时，会返回一个响应，其中包含请求页面的HTML代码和其他相关资源（如CSS、JavaScript文件）。
• 解析HTML: 爬虫接收到HTML代码后，使用HTML解析器（如BeautifulSoup、lxml等）来提取所需的数据。这些数据通常包含在HTML标签中。

3、使用网络爬虫抓取静态网页的方法 

• 选择合适的HTTP客户端: 常用的HTTP客户端库包括requests、urllib等，它们能够模拟浏览器发送请求并获取响应。
• 使用HTML解析器: 通过解析返回的HTML代码，提取所需的数据。常见的HTML解析器包括BeautifulSoup和lxml等。
• 处理反爬机制: 由于许多网站采用反爬机制来防止数据被爬取，因此需要处理如User-Agent检测、IP封禁等问题。可以使用伪装User-Agent或使用代理IP来解决这些问题。

4、示例代码与实战演练

 示例1：使用requests库抓取静态网页内容。

import requests
from bs4 import BeautifulSoup

# 发送GET请求获取网页内容
url = "https://example.com/some-static-page"
response = requests.get(url)

# 检查请求是否成功（状态码为200）
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML代码
    soup = BeautifulSoup(response.text, "html.parser")
    # 提取所需的数据，例如提取所有段落标签<p>中的文本内容
    paragraphs = soup.find_all("p")
    for p in paragraphs:
        print(p.text)
else:
    print("请求失败，状态码:", response.status_code)

 

网络爬虫中抓取动态网页的详解：

一、教学框架

1. 动态网页的简介
2. 动态网页的抓取难点
3. 使用网络爬虫抓取动态网页的方法
4. 示例代码与实战演练

 二、内容详解

1、动态网页的简介

• 定义: 动态网页是指网页内容会根据用户的行为、时间或其他动态因素发生变化的网页。例如，搜索结果页、新闻头条等。
• 特点: 使用JavaScript、AJAX或其他技术实现动态内容加载。这些技术使得网页内容在客户端（浏览器）进行渲染，服务器端只负责提供数据。

2、动态网页的抓取难点

• 异步加载: 传统的网络爬虫基于HTTP请求，无法处理JavaScript渲染的内容。
• 反爬机制: 由于大量的网络爬虫可能导致服务器过载，许多网站采取反爬机制，限制访问频率或检测请求头。

3、使用网络爬虫抓取动态网页的方法 

• 使用浏览器自动化工具: 如Selenium或Puppeteer，模拟真实的浏览器行为，执行JavaScript。
• 分析网络请求: 使用开发者工具（如Chrome的Network Tab）观察网页加载过程中发出的所有请求，并尝试模拟这些请求。

 4、示例代码与实战演练

示例1: 使用Selenium抓取动态网页内容。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 启动浏览器驱动，此处以Chrome为例
driver = webdriver.Chrome()

# 访问目标动态网页
driver.get("https://example.com/some-dynamic-page")

# 等待页面内容加载完毕（可以使用JavaScript渲染的等待机制）
time.sleep(3)  # 等待3秒，具体等待时间视网页内容加载情况而定

# 定位需要抓取的数据的位置（如XPath或CSS选择器）
data = driver.find_element(By.XPATH, "//div[@class='content']")  # 根据实际情况修改XPath或CSS选择器

# 获取数据内容并打印
print(data.text)

# 关闭浏览器驱动
driver.quit()

 示例2: 使用requests和BeautifulSoup模拟AJAX请求抓取动态内容。

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time

# 启动浏览器驱动，此处以Chrome为例
driver = webdriver.Chrome()

# 访问目标网页
driver.get("https://example.com/some-dynamic-page")

# 等待页面内容加载完毕（可以使用JavaScript渲染的等待机制）
time.sleep(3)  # 等待3秒，具体等待时间视网页内容加载情况而定

# 定位需要抓取的数据的位置（如XPath或CSS选择器）
data = driver.find_element(By.XPATH, "//div[@class='content']")  # 根据实际情况修改XPath或CSS选择器

# 将整个网页HTML代码保存为字符串变量
html = driver.page_source

# 使用BeautifulSoup解析HTML代码
soup = BeautifulSoup(html, "html.parser")

# 提取所需的数据，例如提取所有段落标签<p>中的文本内容
paragraphs = soup.find_all("p")
for p in paragraphs:
    print(p.text)

# 关闭浏览器驱动
driver.quit()