简单Python爬取网页模型

简单的Python爬虫示例。小白参考。这个示例将使用requests库来发送HTTP请求，以及BeautifulSoup库来解析HTML文档。

首先，安装必要的库：pip install requests beautifulsoup4

然后，使用以下代码来爬取一个网页的内容：

import requests  
from bs4 import BeautifulSoup  
  
# 目标网页的URL  
url = 'https://example.com'  
  
# 发送HTTP GET请求  
response = requests.get(url)  
  
# 检查请求是否成功  
if response.status_code == 200:  
    # 解析HTML文档  
    soup = BeautifulSoup(response.text, 'html.parser')  
  
    # 找到并打印所有的段落（<p>标签）  
    paragraphs = soup.find_all('p')  
    for paragraph in paragraphs:  
        print(paragraph.text)  
else:  
    print(f'请求失败，状态码：{response.status_code}')

这个示例非常基础，它仅仅爬取了一个网页的所有段落文本。在实际应用中，需要处理更复杂的HTML结构。比如你想要爬取的数据在JavaScript动态加载的内容中，那么你可能需要使用像Selenium这样的工具来模拟浏览器行为。如果你需要处理大量的网页或者进行更复杂的操作，你可能需要使用像Scrapy这样的框架来构建你的爬虫。

本文仅给入门小白提供一个最基础的模型，仅供参考，以后的文章里会加入更多的实例。