使用BeautifulSoup提取网页信息并自动存储

最新推荐文章于 2024-08-12 23:17:41 发布

Abvedu

最新推荐文章于 2024-08-12 23:17:41 发布

阅读量4.3k

点赞数

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/abvedu/article/details/54851092

版权

本文介绍如何利用BeautifulSoup库提取网站信息，并将图像文件自动存储到相应文件夹内。通过实例，详细解析了BeautifulSoup的使用方法。

摘要由CSDN通过智能技术生成

关于BeautifulSoup类的实例方法和属性的说明，不再赘述，还是拿示例分析，看一看使用BeautifulSoup是如何提取网站信息并自动存储的。

下面的例子是用提供的网站域名作为文件夹名称，把提取到的图像文件存储到文件夹中。

from bs4 import BeautifulSoup
import requests
import os
from urllib.request import urlopen
from urllib.parse import urlparse

'''
if len(sys.argv) < 2:
    print("用法：python bs4FileTest.py 网址")
    exit(1)
'''
url = 'http://www.abvedu.com/appcpzs'
domain = "{}://{}".format(urlparse(url).scheme, urlparse(url).hostname)#http://www.abvedu.com
src = requests.get(url)
print(type(src))
src.encoding = 'bgk'
#获得以标记为元素的文本列表
html  = src.text
#对超文本标记语言进行解析,生成一个BeautifulSoup实例bs
bs = BeautifulSoup(html,'html.parser')
#搜索的目标是<img>标签,把搜索到的符合条件的标