python获取一个网页的所有文字,图片,保存为对应的txt和jpg文件

  1. 网络请求:使用Python发送HTTP请求获取网页内容,可以使用Python内置的urllib或第三方库requests。

  2. 解析HTML:解析获取到的网页内容,可以使用Python中的BeautifulSoup、lxml等库进行HTML解析。

  3. 提取文本:通过解析HTML文件,可以提取出网页中所有的文本内容,可以使用BeautifulSoup中的get_text()方法。

  4. 下载图片:通过解析HTML文件,可以提取出图片的链接,然后使用Python中的urllib或requests库下载图片。

  5. 保存文件:将提取的文本和下载的图片保存为对应的txt和jpg文件,可以使用Python内置的open()函数进行文件操作。

示例代码:

python
import requests
from bs4 import BeautifulSoup

# 发送网络请求
url = 'http://www.example.com'
response = requests.get(url)

# 解析HTML
soup = BeautifulSoup(response.text, 'lxml')

# 提取文本
text = soup.get_text()

# 下载图片并保存
for img in soup.find_all('img'):
    img_url = img.get('src')
    img_name = img_url.split('/')[-1]
    r = requests.get(img_url)
    with open(img_name, 'wb') as f:
        f.write(r.content)

# 保存文本
with open('example.txt', 'w', encoding='utf-8') as f:
    f.write(text)

  • 18
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值