Python爬网站图片、CSS文件和JS文件

首先，通过input()函数获取用户输入的网址，并使用requests库发送GET请求获取网页的HTML内容。然后，使用BeautifulSoup库解析HTML内容，创建一个BeautifulSoup对象。

接下来，通过find_all()方法找到所有的img标签，然后遍历这些标签。对于每个img标签，通过attrs属性获取其src属性值，即图片的URL。如果URL为空或不以http开头，则将其补充为完整的URL。然后，使用requests库发送GET请求获取图片的二进制内容，并使用open()函数创建一个文件，并将图片内容写入文件中。

然后，通过find_all()方法找到所有link标签中rel属性为stylesheet的标签，然后遍历这些标签。对于每个标签，通过attrs属性获取其href属性值，即CSS文件的URL。如果URL为空或不以http开头，则将其补充为完整的URL。然后，使用requests库发送GET请求获取CSS文件的内容，并使用open()函数创建一个文件，并将CSS内容写入文件中。

最后，通过find_all()方法找到所有的script标签，然后遍历这些标签。对于每个标签，通过attrs属性获取其src属性值，即JS文件的URL。如果URL为空或不以http开头，则将其补充为完整的URL。然后，使用requests库发送GET请求获取JS文件的内容，并使用open()函数创建一个文件，并将JS内容写入文件中。

最后，输出下载完毕的提示信息，并使用input()函数等待用户按回车键退出程序。

import os
import requests
from bs4 import BeautifulSoup

# 获取页面的HTML
url = input("请输入要下载的网址: ")  # 

response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 下载图片
images = soup.find_all('img')
for img in images:
    image_url = img.attrs.get('src')
    if not image_url:
        continue
    if not image_url.startswith('http'):
        image_url = url + image_url
    
    response = requests.get(image_url)
    with open(os.path.basename(image_url), 'wb') as f:
        f.write(response.content)

# 下载CSS文件
css_files = soup.find_all('link', {'rel': 'stylesheet'})
for css_file in css_files:
    css_url = css_file.attrs.get('href')
    if not css_url:
        continue
    if not css_url.startswith('http'):
        css_url = url + css_url

    response = requests.get(css_url)
    with open(os.path.basename(css_url), 'wb') as f:
        f.write(response.content)

# 下载JS文件
scripts = soup.find_all('script')
for script in scripts:
    js_url = script.attrs.get('src')
    if not js_url:
        continue
    if not js_url.startswith('http'):
        js_url = url + js_url

    response = requests.get(js_url)
    with open(os.path.basename(js_url), 'wb') as f:
        f.write(response.content)

原创 蓝胖子之家 蓝胖子之家