一、requests库
requests是python发送http请求的一个第三方库,一般用于爬虫获取网页数据。
二、发送get请求
语法:
requests.get(url, params=None)
注意:发送get请求, 返回的是服务器的响应
获取响应头
response.headers
获取响应体(真正返回的数据)
-
获取文本形式的响应体 - 返回数据是html页面的时候使用,返回的数据类型是字符串
response.text
-
获取json数据 - 返回的数据是json格式的数据,返回的数据类型是字典
response.json()
-
获取二进制数据 - 返回的数据是图片或者二进制文件,返回的数据类型是二进制
response.content
三、设置header
参数headers - 设置请求头,需要传一个字典
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
}
response = requests.get('https://www.zhihu.com', headers=headers)
四、设置cookie
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
'Cookie': 'q_c1=f3257f4e50454b38b8e3d1a80a70599a|1598606615000|1598606615000; _zap=867d7825-9494-48bb-8aca-2ade381ca63b; _xsrf=WAKQZcBx6HSqWj0Wk1Vx5Zi5dbfKx3sc; d_c0="AJBT4Q0qzRGPTutIajAwM3Z_gHlj18xB_mI=|1598606117"; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1598606118; capsion_ticket="2|1:0|10:1598606118|14:capsion_ticket|44:ZTI4ODkwY2Q1NWZkNDRlNzliZTY2Nzk5N2I5MzA1YTA=|17f13e7dc8bc9f4b7961c78d83991ab8fa11e6e9a02342fbfb4dd6912f55c66c"; _ga=GA1.2.1359171962.1598606119; _gid=GA1.2.1333409433.1598606119; z_c0="2|1:0|10:1598606613|4:z_c0|92:Mi4xaW5CWUdRQUFBQUFBa0ZQaERTck5FU1lBQUFCZ0FsVk5GUnMyWUFBa0ExODdCSWtQcThDeUZqMFAxOXpOUXVqNHJR|b89bd901925d92e88a2542ba211b70f630e870f55b01f51f3f4401694970e033"; unlock_ticket="ADAc3rNA2xAmAAAAYAJVTR3USF8l-umrU2IwJ6ulLWHPB68WqxuPUw=="; tst=r; _gat_gtag_UA_149949619_1=1; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1598606630; SESSIONID=JZ1ZoheKYPvCQFQplqBscm0pI1uWXpruoziVpW6KQdj; JOID=W1wXAkz6zqXYFyzlMvK9tj0CDisovZKXhHZJhnqtk9WYQGS5RNgG6I8UJ-A3I7FR5YOy6psXoPRCge3EyKWsibE=; osd=VVkcA0L0y67ZGSLgOfOzuDgJDyUmuJmWinhMjXujndCTQWq3QdMH5oERLOE5LbRa5I2875AWrvpHiuzKxqCniL8=; KLBRSID=fb3eda1aa35a9ed9f88f346a7a3ebe83|1598606673|1598606115'
}
response = requests.get('https://www.zhihu.com', headers=headers)
五、post请求
参数data的值就是客户端要传递给服务器的数据
response = requests.post('http://www.xiongmaoyouxuan.com/api/tab/1', data={'start':0})