requests入门
- 学习第三方包requests的使用,让爬虫更加灵活。需要安装requests:
- 1、安装requests:
pip install requests
- 2、国内源:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
- 案例1:爬取百度翻译的内容
import requests
url = "https://fanyi.baidu.com/sug"
s = input("请输入你要翻译的英文单词:")
dat = {
"kw": s
}
resp = requests.post(url,data=dat)
print(resp.json())
resp.close()
- 查看url
- 查找参数
- 代码截图
- 点击【Run】->【Run Module】运行,查看结果
- 案例 2:爬虫豆瓣电影分类某一类别的排行榜。
import requests
url = "https://movie.douban.com/j/chart/top_list"
#重新封装参数
param = {
"type": "5",
"interval_id": "100:90",
"action": "",
"start": 0,
"limit": 20
}
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0"
}
resp = requests.get(url=url,params = param,headers = headers)
print(resp.json())
resp.close()
-
把“https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=20”改为“https://movie.douban.com/j/chart/top_list”,采用重新封装参数
-
查看参数
-
查看headers
-
查看请求方式
-
代码截图
-
点击【Run】->【Run Module】运行,查看结果