python爬虫requests模块的编码流程

Requests模块的编码流程

1.指定url

 url ='https://www.baidu.com/s?tn=25017023_5_dg&ch=1&ie=UTF-8'#1.指定url

2.发送请求

主要用到response.get()函数和response.post函数
response.get()函数

 response = requests.get(url=url,params=param, headers=head)#2.发起请求

get函数的url参数就是你指定的url；
params参数是处理url携带的参数，可以定义一个数字字典，将其封装到字典中；

 kw = input('enter a word!')
    param = {
   'wd': kw}

headers参数是发送请求时所对应的User-Agent信息，这里涉及到UA检测和UA伪装

head = {
   
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
        }

response.post()函数

response = requests.post(url=url, data=data, headers=headers)

url参数就是你指定的url；

url ='https://fanyi.baidu.com/sug'#1.指定url

data参数是处理url携带的参数，可以定义一个数字字典，将其封装到字典中；