在Python中,可以使用BeautifulSoup
库来提取网页中的文本,以及使用requests
和PIL
库来下载网页上的图片。以下是一个简单的例子
确保在运行代码前安装所需的库:
pip install requests beautifulsoup4 pillow
import requests
from bs4 import BeautifulSoup
from PIL import Image
# 获取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 提取文本
texts = soup.get_text()
print(texts)
# 提取并下载图片
for img in soup.find_all('img'):
img_url = img.get('src')
if img_url:
response = requests.get(img_url)
with open('image.jpg', 'wb') as file:
file.write(response.content)
段代码会输出网页的文本内容,并将网页中的图片下载为image.jpg
文件。需要注意的是,这只是一个基础例子,实际使用时可能需要处理更复杂的情况,例如处理重定向、多页面文本和图片、处理CSS和JavaScript动态内容等