无聊写了一个挺实用的下载爬虫:爬取qq空间相册
开发者工具找到以下:
网址这里能找到对应的相册ID,后面可用到,所以先分析
复制粘贴网址:
在Netword中找到
分析headers:
这里的参数是不变的可直接传人
然后点入随便一个相册,开发者工具Netword数据包中找到:
点入可发现所有的相册里面的图片都在这数据包中:
老办法,分析url,拉到低,分析url传入的data:
红框内的数据是关键,第一个是刚刚我们第一步获取的相册ID,第二个框是一个URL里读取的相片数量,这里的30就是等于一个相册里只读取30张照片,如果要下载全部就需要去更改它,我改成了1000
好了数据都有啦,可以直接写代码了:
因为要登陆,所以需要传入co’okie ,还有一点就是下载的相册保存名字,我直接用了连续的数字保存的:
def dwonow(img_url_list):
g = 0 #给相片文件加上数字名字
for i in range(0,len(img_url_list)):
img = session.get(url=img_url_list[i],headers= headers).content
flie = "F:\\爬虫\\QQ空间相片\\{}.png".format(g)
with open(flie,"wb") as f:
f.write(img)
g = g+1
主代码块:
import requests,re,jsonpath,time,os
session = requests.session()
import json,ast
he