python完成网页下载（包括图片和css）

最新推荐文章于 2024-07-25 08:08:29 发布

renzha2010

最新推荐文章于 2024-07-25 08:08:29 发布

阅读量3k

点赞数

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/renzha2010/article/details/9050677

版权

该博客介绍了一个Python程序，用于下载网页内容并同时抓取和保存页面中的CSS文件和图片。通过BeautifulSoup库解析HTML，找到链接的CSS和图片资源，然后替换为本地路径，最后将整个页面内容写入到一个HTML文件中。此外，程序还创建了必要的文件夹来存储下载的CSS和图片资源。

摘要由CSDN通过智能技术生成

import urllib2
import os
from bs4 import BeautifulSoup 
import re
siteUrls = " "

url = "http://www.sina.com.cn"
def getContent(url):
	content = urllib2.urlopen(url).read()
	content = writeCss(url,content)
	content = writefileName(url,content)
	fileNames = re.findall(r'/[^\?]*\?([^/|^\?]*)$',url)
	fileName = fileNames[0]
	print fileName
	f = file(fileName+".html",'w')
	f.write(content)
	f.close()

def writeCss(url,content):
	soup = BeautifulSoup(content)
	csss = soup.findAll('link',attrs={'type':'text/css'})
	css_pat = re.compile('.*/(.*)\.css')
	fileNames = re.findall(r'/[^\?]*\?([^/|^\?]*)$',url)
	fileName = fileNames[0]
	print fileName
	for css in csss:
		cssnames = re.findall(r'.*/(.*)\.css',str(css))
		cssurls = re.findall(r'.*href=\"([^\"]*)\"',str(css))
#		print cssna