学习基础爬虫

requests库的使用

1，无参数的get请求

代码

import requests
url='http://www.baidu.com'
resp=requests.get(url)
resp.encoding='utf-8'
cookie=resp.cookies
headers=resp.headers
print('响应状态码：',resp.status_code)
print('请求后的cookie：',cookie)
print('获取请求的网址：',resp.url)
print('响应头：',headers)
print('相应内容：',resp.text)

结果

2，带参数的get请求

代码

import requests
url='https://www.so.com/s'
params={'q':'python'}
resp=requests.get(url,params=params)
resp.encoding='utf-8'
print('响应状态：',resp.status_code)
print(resp.text)

结果（只截取了部分内容）

3，获取JSON数据

import requests
url='https://imgstat.baidu.com/4.gif?type=pageturn&curr=1&fr=&picnum=20&p=56&q=%E7%BE%8E%E5%A5%B3&fm=index&tn=baiduimage&fcType=&vs=8f33c43e7282425f8a9ba2cf9cf5f33236eca0c0&ie=utf-8&qpagetype=0&userid=&logid=11644040903677798390&lsTime=227&303702866733.52277'
resp=requests.get(url)
json_data=resp.json()
print(json_data)

  4,使用requests的session发送请求

import requests
url='https://www.17k.com/'
data={'loginName':' 123123132212313','password': '1231231321'}
session=requests.session()
resp=session.post(url,data=data)
resp.encoding='utf-8'
print('状态响应码：',resp.status_code)
#print(resp.text)

hot_url='https://user.17k.com/www/bookshelf/read.html'
read=session.get(hot_url)
read.encoding='utf-8'
print(read.status_code)
print(read.text)

结果（部分截图）