今天又是在网站寻找漂亮小姐姐的一天,发现一个网站还不错,就是有广告在窗口正中间
本来也没多大事,点一下就关闭了。但是在我手痒准备拿出我的F12大法的时候这个网站竟然把F12禁用了,这就勾起了我小小的战斗YW。
我先写了个简单的 requests.get()请求,发现并没有什么反爬的策略,直接就拿到页面源码
页面结构也很简单一目了然,所有数据标签列表是<div class="item col-xs-6 col-sm-4 col-md-3 col-lg-3">
,这个列表又在<div id="masonry"
class="archive row">
这个标签下。所以用xpath解析就能拿到详情页的url了:
来的如此简单我也没有继续爬下去的理由了,就准备再看几个小姐姐撤退。
就在我看的正舒服的时候,这破网站的广告竟然突然大声响起音乐来了,吓老子一大跳,这可把我气坏了!!!!我偷偷看看小姐姐被这样一吓,xzqw。
这站长不讲武德,, 来骗 ,,来吓,,我二十几岁的小同志,,这好吗??? 这不好。
你不要我爬你图片我偏要爬,,还要开启多进程高速的爬。。
于是对拿到的详情页发起requests请求发现详情页跟首页的页面源码结构基本上一摸一样,那就好办了,再用xapth解析一下,
就好了。
res = requests.get(url=href, headers=headers).text
x = etree.HTML(res)
div_list1 = x.xpath('//div[@id="masonry"]/div')
for d in div_list1:
name = d.xpath('./img/@alt')[0]
src = d.xpath('./img/@data-original')[0]
在首页看到美女一共有5页。
链接也很有规律
https://tupian.gq/beautiful-girls.html/2/
https://tupian.gq/beautiful-girls.html/3/
https://tupian.gq/beautiful-girls.html/4/
写一个for循环就解决了
完整代码
import requests
from lxml import etree
from multiprocessing.dummy import Pool
import time
import os
# 创建保存图片的文件夹
if not os.path.exists('./caonima'):
os.mkdir('./caonima')
start = time.time()
url_x = 'https://tupian.gq/beautiful-girls.html/{}/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
}
# 存放所有图片的链接和图片名
srcs = []
for i in range(1, 6):
url = url_x.format(i)
re = requests.get(url, headers=headers).text
tree = etree.HTML(re)
div_list = tree.xpath('//div[@id="masonry"]/div')
for div in div_list:
# 详情页链接
href = div.xpath('.//a[@class="item-link"]/@href')[0]
res = requests.get(url=href, headers=headers).text
x = etree.HTML(res)
div_list1 = x.xpath('//div[@id="masonry"]/div')
for d in div_list1:
try: # 发现有的图片可能没有标题,会报错,就直接做错误处理处理掉
name = d.xpath('./img/@alt')[0]
src = d.xpath('./img/@data-original')[0]
# 拿到所有图片链接和图片名,以字典形式传入srcs列表中
dic = {
'name': name,
'src': src
}
srcs.append(dic)
print(name, 'get')
except:
print('站长大傻逼')
# 存储图片
def get_img(dic):
s = dic['src']
name = dic['name']
gugu = requests.get(url=s, headers=headers).content
with open('./caonima/'+name+'.jpg', 'wb') as f:
f.write(gugu)
print(name, '保存ok')
# 开启50个进程
pool = Pool(50)
#这里使用map函数,并且函数的参数为get_img(),以及函数中的参数srcs(这里为一个列表)
pool.map(get_img, srcs)
end = time.time()
print('共用时:', end-start, '秒')
# 关闭pool对象
pool.close()
# 等待所有进程结束
pool.join()
打完收工!!!!
速度还是可以的七十多秒,爬了4000多张图片。
站长起名还挺文艺,看着也不像坏人
就是广告接的不地道