爬虫
painye
这个作者很懒,什么都没留下…
展开
-
爬虫基本原理讲解
爬虫请求网站并提供数据的自动化程序爬虫的基本流程1、发起请求通过HTTP库向目标站点发起请求,其发送一个request,请求可以包含额外的headers等信息,等待服务器响应2、获取响应如果·服务器正常响应,会得到一个response,response的内容便是索要获取的页面内容,类型可能有HTML,Json字符串、二进制数据等类型3、解析内容得到的内容可能是HTML,可以用正则表...原创 2019-08-11 19:29:23 · 174 阅读 · 0 评论 -
python之Requests库基础
实例引入import requests#请求网站,并将响应赋给responseresponse = requests.get('https://www.baidu.com/')#打印类型print(type(response))#打印状态码print(response.status_code)#打印网页源代码,响应内容print(response.text)#打印cookie...原创 2019-08-12 17:09:14 · 141 阅读 · 0 评论