Python02-02

提笔的刹那,才懂得有自己自由时间的宝贵,前几天一直忙于别的事情,心里一直对python的学习念念不忘。人总是在拥有的时候不懂得珍惜,失去后才知道当时的可贵,好了废话不说,开始本周的第二篇python博文学习。
1.对网络爬虫的限制
来源审查:判断User-Agent进行限制,检查来访问HTTP协议头的User-Agent域,只响应浏览器或友爬虫的访问。
发布公告:Robots协议 告知所有爬虫网站的爬取策略,要求爬虫遵守。
2.爬虫实例
在这里插入图片描述
爬虫来的页面发现比自己打开的页面还慢,不明白这是啥操作。
在这里插入图片描述
当采用第一段代码的爬虫访问亚马逊网站是,发现r.status_code不是200.发现出现了错误,打印出来的信息{‘User-Agent’: ‘python-requests/2.22.0’, ‘Accept-Encoding’: ‘gzip, deflate’, ‘Accept’: ‘/’, ‘Connection’: ‘keep-alive’},说明在爬虫的时候告诉亚马逊用是通过python爬取的,亚马逊网站拒绝信息的爬取,遇到这种问题可以通过修改url的头部信息。
360搜搜关键字的搜索
在这里插入图片描述图像的下载
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值