python爬虫 打击无良网站弹窗广告

今天又是在网站寻找漂亮小姐姐的一天，发现一个网站还不错，就是有广告在窗口正中间

本来也没多大事，点一下就关闭了。但是在我手痒准备拿出我的F12大法的时候这个网站竟然把F12禁用了，这就勾起了我小小的战斗YW。
我先写了个简单的 requests.get()请求，发现并没有什么反爬的策略，直接就拿到页面源码

页面结构也很简单一目了然，所有数据标签列表是<div class="item col-xs-6 col-sm-4 col-md-3 col-lg-3">，这个列表又在<div id="masonry" class="archive row">这个标签下。所以用xpath解析就能拿到详情页的url了：

来的如此简单我也没有继续爬下去的理由了，就准备再看几个小姐姐撤退。
就在我看的正舒服的时候，这破网站的广告竟然突然大声响起音乐来了，吓老子一大跳，这可把我气坏了！！！！我偷偷看看小姐姐被这样一吓，xzqw。

这站长不讲武德，， 来骗 ，，来吓，，我二十几岁的小同志，，这好吗？？？ 这不好。

你不要我爬你图片我偏要爬，，还要开启多进程高速的爬。。
于是对拿到的详情页发起requests请求发现详情页跟首页的页面源码结构基本上一摸一样，那就好办了，再用xapth解析一下，
就好了。

res = requests.get(url=href, headers=headers).text
        x = etree.HTML(res)
        div_list1 = x.xpath('//div[@id="masonry"]/div')
        for d in div_list1:
            name = d.xpath('./img/@alt')[0]
            src = d.xpath('./img/@data-original')[0]

在首页看到美女一共有5页。
链接也很有规律

https://tupian.gq/beautiful-girls.html/2/
 https://tupian.gq/beautiful-girls.html/3/
https://tupian.gq/beautiful-girls.html/4/

写一个for循环就解决了

完整代码

import requests
from lxml import etree
from multiprocessing.dummy import Pool
import time
import os
# 创建保存图片的文件夹
if not os.path.exists('./caonima'):
    os.mkdir('./caonima')


start = time.time()
url_x = 'https://tupian.gq/beautiful-girls.html/{}/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'

}

# 存放所有图片的链接和图片名
srcs = []
for i in range(1, 6):
    url = url_x.format(i)
    re = requests.get(url, headers=headers).text
    tree = etree.HTML(re)
    div_list = tree.xpath('//div[@id="masonry"]/div')
    for div in div_list:
        # 详情页链接
        href = div.xpath('.//a[@class="item-link"]/@href')[0]
        res = requests.get(url=href, headers=headers).text
        x = etree.HTML(res)
        div_list1 = x.xpath('//div[@id="masonry"]/div')
        for d in div_list1:
            try: # 发现有的图片可能没有标题，会报错，就直接做错误处理处理掉
                name = d.xpath('./img/@alt')[0]
                src = d.xpath('./img/@data-original')[0]
                # 拿到所有图片链接和图片名，以字典形式传入srcs列表中
                dic = {
                    'name': name,
                    'src': src
                }
                srcs.append(dic)
                print(name, 'get')
            except:
                print('站长大傻逼')



# 存储图片
def get_img(dic):
    s = dic['src']
    name = dic['name']
    gugu = requests.get(url=s, headers=headers).content
    with open('./caonima/'+name+'.jpg', 'wb') as f:
        f.write(gugu)
    print(name, '保存ok')


# 开启50个进程
pool = Pool(50)
#这里使用map函数，并且函数的参数为get_img（），以及函数中的参数srcs（这里为一个列表）
pool.map(get_img, srcs)
end = time.time()
print('共用时：', end-start, '秒')
# 关闭pool对象
pool.close()
# 等待所有进程结束
pool.join()

打完收工！！！！
速度还是可以的七十多秒，爬了4000多张图片。

站长起名还挺文艺，看着也不像坏人
就是广告接的不地道