爬虫----084-86requests基本使用及get,post请求

基本使用

import requests

url = 'http://www.baidu.com'

response = requests.get(url=url)


#一个类型和6个属性
# print(type(response))       #Response类型

#设置响应地编码格式
response.encoding = 'utf-8'

#以字符串形式返回网页源码
# print(response.text)

#返回一个url地址
# print(response.url)

#返回的是二进制的数据
print(response.content)

#返回响应的状态码
print(response.status_code)

#返回的是响应头
print(response.headers)

get请求

import requests

url = 'https://www.baidu.com/s'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.1311 SLBChan/103'
}

data = {
    'wd':'北京'
}


#url: 请求资源路径   params；  参数   kwargs:字典
response = requests.get(url=url,params=data,headers=headers)

content = response.text

print(content)


#参数使用params传递
#参数无需urlencode编码
#不需要请求对象的定制
#请求资源路径中的？ 可以加也可以不加

post请求

import requests
import json

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.1311 SLBChan/103'
}

data = {
    'kw':'spider'
}


#url:请求地址  data:请求参数    json:   kwargs: 字典
response = requests.post(url=url,data=data,headers=headers)

content = response.text

obj = json.loads(content,encoding='utf-8')
print(obj)



#总结：（1）post请求不需要编解码  （2）post请求的参数是data  (3)不需要请求对象的定制