python----爬虫实战篇(百度关键字爬取图片)

遇到的问题:触发了百度的风控

解决方法:在csdn上查找了其他原代码并分析了原因发现是请求头触发了风控加以替换后解决问题

直接上代码:

import requests #请求模块
import re   #
import os   #处理文件模块
pn = 0
num = 0
dir ="D:\myassembly\爬虫练习\img/"
name =input("请输入关键词:")
dir_name =dir+name
#判断文件夹是否存在根文件夹如果不存在则进行创建
if dir_name ==None:
    os.mkdir(dir_name)
#做伪装
headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
        }
#如果只爬取单页可以把for循环删掉
for pn in range(0,80,20):
    url = "https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="+name+"&pn="+str(pn)+"&gsm=50&ct=&ic=0&lm=-1&width=0&height=0"
    res = requests.get(url,headers=headers)
    #<Response [200]>表示请求成功
    #print(res)
    
    #print(url)
  
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值