最近在研究使用python进行爬虫,下载网站上的图片,经过一番波折,用了2天时间,终于研究了一个可行的代码,但是需要对python的原理有几点注意以及修改的地方。
一:首先爬取图片
可行代码如下:
参考链接: https://www.cnblogs.com/itlqs/p/5767054.html
第一步:获取要爬取的母网页的内容
import urllib.request
import re
url = “http://www.cagis.org.cn/Lists/content/id/3440.html”
webPage=urllib.request.urlopen(url)
data = webPage.read()
data = data.decode(‘UTF-8’)
第二步:对母网页内容处理,提取出里面的图片链接
k = re.split(r’\s+’,data)
s = []
sp = []
si = []
for i in k :
if (re.match(r’src’,i) or re.match(r’href’,i)):
if (not re.match(r’href="#"’,i)):
if (re.match(r’.?jpg"’,i) or re.match(r’.?ico"’,i)):
if (re.match(r’src’,i)):
s.append(i)
for it in s :
if (re.match(r’.*?jpg"’,it)):
sp.append(it)
第三步:获取这些图片链接的内容,并