爬虫-简单抓取网页图片

首先上获取网页数据部分

def getdata(url):
    # 构建请求对象
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/65.0.3325.181 Safari/537.36"}
    req = urllib.request.Request(url=url, headers=headers)

    # 创建远程url的类文件对象,像操作本地文件一样获取数据
    res = urllib.request.urlopen(req)
    # 读取全部数据
    data = res.read()
    data = ungzip(data)
    data = data.decode('utf-8')
    return data

解析数据,下载资源部分

def download(data):
    """最终解析网页中的图片资源,下载到指定地址"""
    for link, t in set(re.findall(r'(https?:[\S]*?(jpg|png|gif))', str(data))):
        try:
            urllib.request.urlretrieve(link, filename=mkpath(link))
        except:
            print("fail")

有的网页发送的数据是经过压缩的需要解压缩

def ungzip(data):
    """有的接收的网页数据是压缩的,需要解压,Python的gzip包提供了解压缩的功能"""
    try:
        data = gzip.decompress(data)
    except:
        # print("未压缩")
        pass
    return data

生成文件保存地址

def mkpath(link):
    """生成文件保存地址"""
    targetpath = "F:\A_code\Spider\images"      # 你想要保存图片的路径
    index = link.rindex("/")
    # 拼接处文件名
    filename = os.path.join(targetpath, link[index+1:])
    # 返回新创建的文件名
    return filename

贴一下全部代码

import urllib.request, os, re, gzip


def ungzip(data):
    """有的接收的网页数据是压缩的,需要解压,Python的gzip包提供了解压缩的功能"""
    try:
        data = gzip.decompress(data)
    except:
        # print("未压缩")
        pass
    return data


def mkpath(link):
    """生成文件保存地址"""
    targetpath = "F:\A_code\Spider\images"      # 你想要保存图片的路径
    index = link.rindex("/")
    # 拼接处文件名
    filename = os.path.join(targetpath, link[index+1:])
    # 返回新创建的文件名
    return filename


def getdata(url):
    """获取网页数据"""
    # 构建请求对象
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/65.0.3325.181 Safari/537.36"}
    req = urllib.request.Request(url=url, headers=headers)

    # 创建远程url的类文件对象,像操作本地文件一样获取数据
    res = urllib.request.urlopen(req)
    # 读取全部数据
    data = res.read()
    data = ungzip(data)
    data = data.decode('utf-8')
    return data

def download(data):
    """最终解析网页中的图片资源,下载到指定地址"""
    for link, t in set(re.findall(r'(https?:[\S]*?(jpg|png|gif))', str(data))):
        try:
            urllib.request.urlretrieve(link, filename=mkpath(link))
        except:
            print("fail")


if __name__ == '__main__':
    url = "http://www.sj33.cn/article/hbzp/201412/41568_4.html"
    download(getdata(url))