提笔的刹那,才懂得有自己自由时间的宝贵,前几天一直忙于别的事情,心里一直对python的学习念念不忘。人总是在拥有的时候不懂得珍惜,失去后才知道当时的可贵,好了废话不说,开始本周的第二篇python博文学习。
1.对网络爬虫的限制
来源审查:判断User-Agent进行限制,检查来访问HTTP协议头的User-Agent域,只响应浏览器或友爬虫的访问。
发布公告:Robots协议 告知所有爬虫网站的爬取策略,要求爬虫遵守。
2.爬虫实例
爬虫来的页面发现比自己打开的页面还慢,不明白这是啥操作。
当采用第一段代码的爬虫访问亚马逊网站是,发现r.status_code不是200.发现出现了错误,打印出来的信息{‘User-Agent’: ‘python-requests/2.22.0’, ‘Accept-Encoding’: ‘gzip, deflate’, ‘Accept’: ‘/’, ‘Connection’: ‘keep-alive’},说明在爬虫的时候告诉亚马逊用是通过python爬取的,亚马逊网站拒绝信息的爬取,遇到这种问题可以通过修改url的头部信息。
360搜搜关键字的搜索
图像的下载
Python02-02
最新推荐文章于 2023-03-13 12:14:46 发布