爬虫基础热门（5）使用requests库

我们之前使用request会比较麻烦一点，那么我们今天介绍一个requests库。

import requests
kw={'wd':吴彦祖}#相当于提前设置搜索关键字
headers=({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36'})
#这里我们以百度为例，设置好百度的headers
response=requests.get('https://www.baidu.com/s',headers=headers,params=kw)
#这里我们url选择百度，然后params就是在url后面添加关键字
print(response)#查看类型
print(response.content)#content代表文本的意思,可以手动解码。解码后相当于response.text()
#也就是说response.text=response.content.decode('utf-8')
print(response.url)#加上搜索关键字后的url

我们最后得到的结果就是
’https://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD‘
这个网址搜索之后我们发现直接就是搜索到吴彦祖的界面。

这列我们在继续介绍一下关于requests中的post请求
。我们以登录美食杰的页面为例：
登录界面url为https://i.meishi.cc/login_t.php?redirect=https%3A%2F%2Fwww.meishij.net%2F%3Ffrom%3Dspace_block

import requests
url='https://i.meishi.cc/login_t.php?redirect=https%3A%2F%2Fwww.meishij.net%2F%3Ffrom%3Dspace_block'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.52'}
data={'username':'1316689****',
      'password':'yhd1997****'}
resp=requests.post(url,headers=headers,data=data)
print(resp.text)

这里我们直接可以完成对登陆后的页面进行源码提取，非常的简洁方便。
所以作为requests库的使用是目前较多的，各位同学多多加油！