python爬取网页数据方案及代码

1. 使用 Python 的内置库urllib和urllib2。这两个库可以用来发送 HTTP 请求，获取网页的 HTML 代码。然后，可以使用正则表达式或者 BeautifulSoup 等库来解析 HTML 代码，提取所需的数据。
2. 使用第三方库，如 Requests 和 BeautifulSoup。Requests 是一个非常方便的 HTTP 请求库，它可以简化发送 HTTP 请求的过程，并返回响应的文本内容。BeautifulSoup 则是一个专门用于解析 HTML 和 XML 的库，可以方便地提取网页中的数据。
3. 使用 Scrapy 框架。Scrapy 是一个强大的爬虫框架，它提供了许多高级功能，如自动页面导航、数据提取和存储等。使用 Scrapy 可以大大简化爬取网页数据的过程。
   下面是一个使用 Requests 和 BeautifulSoup 库爬取网页数据的简单示例代码：

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'  # 要爬取的网页地址
response = requests.get(url)  # 发送 HTTP 请求并获取响应
soup = BeautifulSoup(response.text, 'html.parser')  # 使用 BeautifulSoup 解析响应文本

# 提取所需的数据
data = soup.find('div', {'id': 'target_div'})  # 根据 ID 找到目标 div 元素
text = data.text.strip()  # 提取 div 元素中的文本，并去除首尾空白

print(text)  # 输出提取到的数据

在这个示例中，我们首先发送 HTTP 请求获取网页的 HTML 代码，然后使用 BeautifulSoup 库解析 HTML 代码，并根据 ID 找到目标 div 元素。最后，我们提取出 div 元素中的文本数据，并去除首尾空白。