如何从网页(例如:百度图片,搜狗图片……)等网页上批量爬取图片并将图片保存到本地呢?
在网页当中,图片是以动态的形式进行存储和加载的,因此如果我们单纯的通过requests来获取网页的url,我们将只能得到,图片的静态的编码。因此我们就使用其他的方式来获取动态的网页图片,并实现批量爬取。
这里以搜狗图片为例:
import requests
import json
import urllib
def getSogouImag(category,length,path): #图片的分类,数量,存放路径
n = length
cate = category
imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n)) #分析网址找到其中分类和数量属性的位置,进行替换
jd = json.loads(imgs.text)
jd = jd['all_items']
imgs_url = []
for j in jd:
imgs_url.append(j['bthumbUrl'])
m = 0
for img_url in imgs_url:
print('Downloading...')
urllib.request.urlretrieve(img_url,path+str(m)+'.jpg') #图片批量命名
m = m + 1
print('Download complete!')
getSogouImag('壁纸',20,'d:/壁纸/') #存取的category,图片数量,和本地存放位置