爬虫
个人的爬虫学习过程
一泓清浅碧如萍
这个作者很懒,什么都没留下…
展开
-
0001 requests库的简单使用,自动下载百度图片中的图片(优雅地云吸猫)
获取网页的信息使用reques中的get为了不让服务器把我们的爬虫当成机器人,我们要写一个请求头用chrome打开百度,搜索猫的图片然后打开这个界面打开方式有三种:按F12鼠标右键,点击检查ctrl + shift +i我的chrome使用了一个黑色主题,所以打开后是黑色的,一般默认为白色依次点击NetWork—XHR由于百度图片使用了Ajax交互,只有在你下拉滚轮的...原创 2020-02-15 11:08:55 · 379 阅读 · 0 评论 -
0000爬虫准备篇(持续补充)
Request URL:我们请求的页面URLRequests Method:页面的请求方式Status Code:相应状态码Remote Address:我们访问国内网站使用的IP地址Referrer Policy:用于过滤Referer内容,这里的意思是当发生降级的时候不传递referer报头下面是常见的HTTP状态码:200 请求成功301 永久移动302 暂时移动304 ...原创 2020-02-15 07:47:46 · 112 阅读 · 0 评论