1、 引入
在学习爬虫之前可以先大致的了解一下HTTP协议~
HTTP协议:https://www.cnblogs.com/peng104/p/9846613.html
1 爬虫的基本流程
1.2 简介
简介:Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库,Requests它会比urllib更加方便,可以节约我们大量的工作。一句话,requests是python实现的最简单易用的HTTP库,建议爬虫使用requests库。默认安装好python之后,是没有安装requests模块的,需要单独通过pip安装
安装方法:pip install requests
开源地址:https://github.com/kennethreitz/requests
中文文档 API:http://docs.python-requests.org/zh_CN/latest/index.html
2、基本语法
requests模块支持的请求:
1 get请求
基本请求
含参数请求
含请求头
含cookies请求
request.session()
2 post请求
data参数
requests.post()用法与requests.get()完全一致,特殊的是requests.post()多了一个data参数,用来存放请求体数据
response=requests.post("http://httpbin.org/post