Python3.6简单的使用爬虫

import urllib.request as pyurl  #引用python3.0的网页驱动
import re #导入py正则验证器
import time

path = 'http://www.****.com/nvshen/'
saveLocalPath = 'D:\\PythonGetImages\\';#本地保存路径路径
perfix = 'http://www.****.com'

def imagesPaths(path):#获得网页中图片的路径
    contexts = pyurl.urlopen(path).read().decode('GB2312', 'ignore')#编码格式为GB2312，忽略其他的格式
    imgRe = re.compile(r'src="(.*?.gif)"|src="(.*?.jpg)"|src="(.*?.png)"')#匹配网页的图片正则,r''转义
    return imgRe.findall(contexts)#从网页源码中匹配相应的数据

def saveImage(imagesPathsMethod,saveLocalPath,perfix):
    def dateTime(times):  # 得到时间毫秒数,用作文件名
        seconds = time.time()
        return int(round(seconds * 1000 * times))
    for imagesPath in  imagesPathsMethod :#匹配得到的所有相应的数据
        for imagesURL in imagesPath :#得到的多个格式的数据，有的为空，经过筛选
            if imagesURL is not '':
                if "http://" not in imagesURL:
                    imagesURL = perfix + imagesURL
                time.sleep(3)#线程休眠3秒钟
                # print("总个数：",imagesPaths.__len__(),'得到的网址',imagesURL)
                imageSuffix = imagesURL[len(imagesURL)-4:]  #得到图片的后缀
                pyurl.urlretrieve(imagesURL,f'{saveLocalPath}{dateTime(1)}{imageSuffix}')#时f{}中可以使用变量
                print('下载成功.........',dateTime(1))

#获得网页图片路径,保存路径,图片路径的前缀(/d/file/20151120/fd265b38be88ad52a3de87b1582e5bfe.jpg , http://www.****.com/d/file/20150818/8bbe97bed7a7816501c4223fbccc6761.jpg 其中的前缀就为http://www.****.com)
saveImage(imagesPaths(path),saveLocalPath,perfix)

还有一点不足的就是只能下载第一次加载的，网页有一个JS的延时加载我没办法获取到延时加载后面的内容以及分页那一块的，只能获得首页的，分页的等过段时间我在更新