Python 爬虫 爬取图片

首先声明一下我的这个爬虫是在unbutu16.04系统上，主要参考下面这个BLOG
https://blog.csdn.net/qq_40774175/article/details/81273198
在此基础上做了一些修改更加完善。

1，你要知道Python的requests库，利用requests 库可以获取网页的原始信息，就是你打开一个网页查看源代码所看到的那种信息 。打开某个网页鼠标右击选中view page source.（建议用Google浏览器）
Ctrl + F 搜索URL 就可以找到URL，后面对应的链接就是一个图片对应的链接(PS:本文用的是objURL)。

我们要获取到这个信息，就可以下载图片了。学习链接：https://2.python-requests.org//zh_CN/latest/user/quickstart.html

2，所以如何才能获取到这个图片的URL呢？这时候Python有一个强大的正则表达式模块，可以帮助我们找到objURL.正则表达式学习链接 https://2.python-requests.org//zh_CN/latest/user/quickstart.html

3，要下载的某种类型图片放在name.txt里面了，每次读取txt的每行内容。name.txt要跟这个程序放在同一个目录下面

此时就可以放出代码了。

# -*-coding:utf-8-*-
import re
import requests
from urllib import error
import os

num = 0
numPicture = 0
file = ''
List = []


def Find(url):
    global List
    print('正在检测图片总数，请稍等.....')
    t = 0
    i = 1
    s = 0
    while t < 1000:  # 这里设置搜索图片数量
        Url = url + str(t)
        try:
            Result = requests.get(Url, timeout=7)
        except BaseException:
            t = t + 60
            continue
        else:
            result = Result.text
            pic_url = re.findall('"objURL":"(.*?)",', result, re.S)  # 先利用正则表达式找到图片url
            s += len(pic_url)
            if len(pic_url) == 0:
                break
            else:
                List.append(pic_url)
                t = t + 60
    return s


def dowmloadPicture(html, keyword):
    global num
    pic_url = re.findall('"objURL":"(.*?)",', html, re.S)  # 先利用正则表达式找到图片url
    print('找到关键词:' + keyword + '的图片，即将开始下载图片...')
    for each in pic_url:
        imsearch = re.search('png', each)   # 筛选JPG图片
        if imsearch is not None:
            continue
        print('正在下载第' + str(num + 1) + '张图片，图片地址:' + str(each))
        try:
            if each is not None:
                pic = requests.get(each, timeout=7)
            else:
                continue
        except BaseException:
            print('错误，当前图片无法下载')
            continue
        else:
            string = file + '/' + keyword + '_' + str(num) + '.jpg'
            fp = open(string, 'wb')
            fp.write(pic.content)
            fp.close()
            num += 1

        if num >= numPicture:
            num = 0                    # 每个分类的下载图片数归零
            return


if __name__ == '__main__':  # 主函数入口
    tm = int(input('请输入每类图片的下载数量 '))
    numPicture = tm
    line_list = []
    with open('./name.txt', encoding='utf-8') as file:
        line_list = [k.strip() for k in file.readlines()]  # 用 strip()移除末尾的空格

    for word in line_list:
        if len(word) != 0:    # 检查name.txt每一行
            url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + word + '&pn='
            tot = Find(url)
            print('经过检测%s类图片共有%d张' % (word, tot))
            file = word
            y = os.path.exists(file)
            if y == 1:
                print('该文件已存在，请重新输入')
                file = word + '文件夹2'
                os.mkdir(file)
            else:
                os.mkdir(file)
            t = 0
            tmp = url
            while t < numPicture:
                try:
                    url = tmp + str(t)
                    result = requests.get(url, timeout=10)
                    print(url)
                except error.HTTPError as e:
                    print('网络错误,请调整网络后重试')
                    t = t + 60
                else:
                    dowmloadPicture(result.text, word)
                    t = t + 60
        else:
            print('当前搜索结束,感谢使用')