爬虫学习笔记
爬虫爬取网页,Requests爬取网站,Scrapy爬取全网,大规模,搜索引擎类人行为可以不遵守robots协议request包含Response和Request两个对象其中,Response包含:属性说明r.status_codeHTTP请求的返回状态,200表示连接成功,404表示失败r.textHTTP响应内容的字符串,即,url对应的页面内容r.encoding从HTTP header中猜测的响应内容编码方式r.appare
原创
2021-08-22 21:15:10 ·
109 阅读 ·
0 评论