python Requests库爬取海量百度图片

import requests
import re
import os
keyword='安徽大学' ##此处是要抓取的百度图片
def get(n):
    url='http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&pn='+str(n*20)+'&gsm='+str(hex(n*20))+'&ct=&ic=0&lm=-1&width=0&height=0&word='
    try:#异常处理
            kv={'user-agent':'Mozilla/5.0'}
            k={'word':keyword}
            r=requests.get(url,headers=kv,params=k)
            r.raise_for_status()
            r.encoding=r.apparent_encoding#'utf-8'#
            return re.findall('"objURL":"(.*?)",', r.text, re.S)
            return r.text[1000:20000]
    except:
            return 0
kv={'user-agent':'Mozilla/5.0'}#模拟浏览器
j=1
path='D://'+keyword+'//'
if not os.path.isdir(path):#创建保存路径,在D盘
     os.makedirs(path)
for i in range(100):#暂时保存前100页的图片,可以灵活设置
    s=get(i)
    print(len(s)) 
    for i in s:
        try:
            r=requests.get(i,headers=kv)
            r.raise_for_status()
            with open(path+str(j)+'.jpg','wb') as f:
                f.write(r.content)
                f.close()
            print(str(j)+'保存成功')
            j=j+1
        except:
                print('error')
        
 
    

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值