import requests
import urllib.parse # 网页解析工具
import json # 网页解析工具
import jsonpath # 网页解析工具 #json数据提取工具
if __name__ == '__main__': #注意此处的缩进,python是以缩进区分代码块的
# 指定网址
kw = '美女'
kw = urllib.parse.quote(kw)
print(kw)
num = 0
for index in range(0,2400,24): #解决翻页问题
url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}' .format(kw,index) #此处网址来自开发者工具
# 模拟浏览器发送请求
resp = requests.get(url=url)
web_data = resp.text # text直接获取网页源代码
html = json.loads(web_data) # json 数据类型转换dictionary
photos = jsonpath.jsonpath(html,"$..path")
print(photos)
# 保存到本地
for i in photos:
response = requests.get(i)
with open(r'C:\Users\Sunny\Desktop\美女\{}.jpg'.format(num),'wb') as file:
file.write(response.content) # 写入返回的二进制文件
用python爬取海量美女图片
最新推荐文章于 2021-12-20 19:41:11 发布