-
网络请求:使用Python发送HTTP请求获取网页内容,可以使用Python内置的urllib或第三方库requests。
-
解析HTML:解析获取到的网页内容,可以使用Python中的BeautifulSoup、lxml等库进行HTML解析。
-
提取文本:通过解析HTML文件,可以提取出网页中所有的文本内容,可以使用BeautifulSoup中的get_text()方法。
-
下载图片:通过解析HTML文件,可以提取出图片的链接,然后使用Python中的urllib或requests库下载图片。
-
保存文件:将提取的文本和下载的图片保存为对应的txt和jpg文件,可以使用Python内置的open()函数进行文件操作。
示例代码:
python
import requests
from bs4 import BeautifulSoup
# 发送网络请求
url = 'http://www.example.com'
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, 'lxml')
# 提取文本
text = soup.get_text()
# 下载图片并保存
for img in soup.find_all('img'):
img_url = img.get('src')
img_name = img_url.split('/')[-1]
r = requests.get(img_url)
with open(img_name, 'wb') as f:
f.write(r.content)
# 保存文本
with open('example.txt', 'w', encoding='utf-8') as f:
f.write(text)