python函数的用法字帖_Python 3 爬虫之批量下载字帖图片

朋友想下载这62个网页中的字帖图片：http://www.yac8.com/news/11003.html

一、要点

1. Chrome 「审查元素」中看到的源代码与真实的源码不同。

2. 图片网址附近源码：

获取源码的正则表达式：

]*?src="(.+?\.jpg)"[^>]*?>建议使用Expresso，带有语义分析功能

3. 网页编码是GB2312：

4. 第一页的网址是/11003.html，后面第X页的网址是11003_x.html

二、代码

注意这里用的是Python 3

import urllib.request

import re

import time

# 作为保存的图片文件名

index = 1

# 获取网页源码

def getHtml(url):

page = urllib.request.urlopen(url) # 打开一个URL地址

html = page.read().decode('gb2312') # 读取URL上的数据

return html

# 网页中的图片网址：

#

def getImg(html):

re_image_url = r'

]*?src="(.+?\.jpg)"[^>]*?>'

img_url_list = re_image_url.findall(html)

global index

for img_url in img_url_list:

# 将远程数据下载到本地

urllib.request.urlretrieve(img_url,save_path + r'\%s.jpg' % index)

index += 1

origin_url_head = r'http://www.yac8.com/news/11003'

origin_url_tail = r'.html'

save_path = r'F:\python_results'

time1= time.time()

getImg(getHtml(origin_url_head + origin_url_tail))

for x in range(2,63):

getImg(getHtml(origin_url_head + '_%s' % x + origin_url_tail))

time2= time.time()

print('下载完成！一共下载了 %s 个文件，用时 %s 秒' % (index, time2-time1))最终结果：

下载完成！一共下载了 186 个文件，用时 98.609375 秒

三、思考

仍然存在一些问题，比如下载中途出错怎么办？应该添加try except保存错误信息，下载完成后再重试。