python获取图片url与海量下载图片

python获取图片url与海量下载图片
爬取静态的和爬取动态的。
有些页面打开你不断下拉它不断的加载出图片便是动态的。
静态爬取则是针对一页一页翻页的。
爬虫是一种去网页上爬取数据的程序
在这里插入图片描述
在这里插入图片描述
这便是动态的,几乎加载不完

接下来改成静态的,翻页的
将index改成flip
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
inspect element检查元素
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
复制src然后去拿cbj-url:
在这里插入图片描述
在这里插入图片描述
拿到objurl后可以赋值给代码中的变量url,即可拿到这一张照片
(一般objurl是原图大图)
在这里插入图片描述
在这里插入图片描述
拿到的图片的url的后缀不一定都是.jpg
在这里插入图片描述
在这里插入图片描述
对于没有后缀名的强制更改它的格式加上一个后缀:

wb: 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
wb+:以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
f.close() 关闭文件
在这里插入图片描述
下面为完整的代码:


#!/usr/bin/env python3
import requests
import re
#import ssl
#ssl._create_default_https_context = ssl._create_unverified_context
s = requests.Session()
s.headers[‘User-Agent’] = ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’
#1确定url
url = “https://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1620796550603_R&pv=&ic=&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&hs=2&sid=&word=%E6%B0%B4%E6%9E%9C”
#"%E6%B0%B4%E6%9E%9C"

#2请求
res = s.get(url).text
#text默认utf-8编码,指定编码:ret为get1拿到的对象即ret=requests.get(url),ret.content.decode(“utf-8”)
#print(res)

#3删选数据
image_urls = re.findall(’“objURL”:"(.*?)"’,res)
#findall找出所有
#print(image_urls)
for image_url in image_urls:
#print(image_url)
image_name = image_url.split(’/’)[-1]
image_name=image_name.split("&")[0]
#print(image_name)

#.search()方法用于在整个字符串中搜索第一个匹配的值,匹配成功返回一个March对象,否则返回None,注意操作对象是字符串
image_end = re.search("(.jpg|.png|.jpeg|.gif)$",image_name)#表示从末尾开始
if image_end == None:
    image_name = image_name + ".jpg"
image = requests.get(image_url).content
#print(image_name)

#4保存
#路径,.为相对路径写法,wb允许文件写入二进制数据,%s字符串类型,%d%f

with open('/root/python_code/day05/ima/%s'%image_name,'wb') as file: 
    file.write(image)
    file.close()

在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿白,

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值