requests
遨游的菜鸡
这个作者很懒,什么都没留下…
展开
-
自动定时运行爬虫
传送门原创 2020-04-19 22:35:54 · 510 阅读 · 0 评论 -
延时爬取解决503错误
1. 503错误今天爬了一个代理网站,请求状态的状态码是503,且具体如下图,可以看到第一次请求的状态码是200,正常;可第二次就是503错误码:然后上网搜了503错误码的意义,如下:经过分析,确定是自己爬取太快,因此设置了每隔2s进行一次爬取,更改如下:...原创 2020-04-19 21:11:43 · 1890 阅读 · 0 评论 -
requests设置代理ip------验证代理ip是否可用
1. 代理ip设置1.1 代理设置格式1.proxies在你访问http时用http的设置,访问https时用https的设置,所以你的proxy需要同时包含http及https的配置,这样才能生效。2.如果访问http网站时,可你的proxies={“https”:"*****"}是这样,即只写了https的,那么请求时候会自动使用本机ip。3.同一个ip(不论它是http、还是http...原创 2020-04-17 15:25:29 · 7859 阅读 · 0 评论 -
Python中第三方模块requests解析
解析传送门decode和encode原创 2020-04-16 20:18:55 · 179 阅读 · 0 评论 -
requests实战1--疫情数据爬取
1. 初始爬取源https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_pc_3找不到数据,放弃2. 实际数据源2.1 在腾讯新闻中找到了实时疫情数据点击进入https://news.qq.com/zt2020/page/feiyan.htm#/global:2.2 先试着从网页代码这个角度爬取2.2.1...原创 2020-04-16 22:55:48 · 1042 阅读 · 0 评论