Python3 百度图片 美女 下载 爬虫 多线程

本人电子系，只为一学生。心喜计算机，小编以怡情。

---

说明：下载百度图片中的美女图片

修改：默认url都已经写好了，只需要改一下cookies就可食用

附加：运用了多线程，一个线程生产url，十个线程消费下载图片

解释：
1、用正则表达式解析网页内容
2、建议用IDE工具运行，以便随时终止
3、用的os模块，在工作空间里建立一个《小图片》的文件夹，图片都默认下载里面

缺点：我不太懂js的图片瀑布流效果怎么弄，所以一个关键词页面只能下载30张左右图片就转到其他的页面了

注意:这个是简单爬虫，爬完页面会自动爬 网页上面推荐的其他页面，即 相关搜索

import os
import  re
import requests
import threading

#得到路径，建立小图片文件夹，图片默认下载其中
currentpath=os.getcwd()
if not os.path.exists(currentpath+os.sep+'小图片'):
    os.mkdir(currentpath+os.sep+'小图片')

cookies={'xxxxxxxx': 'xxxxxxxx'}#用自己的cookies，别拿我的干坏事

headers={'Host':'xxxxxxxx',#封装头部，否则有些图片下载不下来
'Referer':'xxxxxxxxxxxxx',
'Upgrade-Insecure-Requests':'x',
'User-Agent':'xxxxxxxxxxxxxxxxxxxxxxxxx'}

#得到页面上图片的url与相关搜索的url
def search(searchurl):
    response = requests.get(searchurl,cookies=cookies,headers=headers)
    text=response.text
    s = re.findall(r'thumbURL":"([a-zA-z]+://[\w\.%=/\d,&]*)', text)#所有图片的url
    m = re.findall(r'search/index.(\S*)"', text)#当前页面指向其他页面的url
    return s,m

#根据传入的url与jpg名字下载图片
def download_pic(url,name):
    path=os.getcwd()+os.sep+'小图片'
    data=requests.get(url,cookies=cookies,headers=headers).content
    with open(path+os.sep+name,'wb') as f:
        f.write(data)
    print('图片下载完成：%s' % name)


gimagelist=[]#图片的url
queue=[]#相关搜索的url
queue.append('tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&fm=index&pos=history&word=%E7%BE%8E%E5%A5%B3')#默认搜索关键词美女，你也可以换成其他的关键词url的index?后面的部分
gCondition=threading.Condition()#线程相关
visited=set()#用来存放已经搜过的页面的url
class Producer(threading.Thread):
    def run(self):
        print('%s started' % threading.current_thread())
        global gimagelist
        global gCondition
        global queue
        for j in range(1):#我默认循环一次，你也可以改很多
            a=queue.pop(0)#从队列中取出一个关键词url尾部
            searchurl='http://image.baidu.com/search/index?'+a#封装成url
            if searchurl not in visited:#如果没有访问过
                imgs,otherurl=search(searchurl)

                gCondition.acquire()#上锁
                for i in imgs:
                    gimagelist.append(i)#添加图片url
                gCondition.notify_all()#唤醒所有等待的消费者
                gCondition.release()#释放锁
                visited.add(searchurl)#标记为已访问过
                queue.extend(otherurl)#将相关搜索的url放入



class Consumer(threading.Thread):
    def run(self):
        print('%s started' % threading.current_thread())
        while True:
            global gimagelist
            global gCondition

            gCondition.acquire()#上锁
            while len(gimagelist)==0:
                gCondition.wait()#没有则等待
            url=gimagelist.pop()
            name=url.rsplit('/')[-1]#取名字，以url后面的部分做名字
            gCondition.release()
            download_pic(url,name)#下载图片


if __name__=='__main__':
    Producer().start()

    for i in range(10):#十个消费者线程数
        Consumer().start()