requests模块的巩固
实战巩固:(四个案例)
- 需求1:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
- 需求2:破解百度翻译
- 需求3:爬取豆瓣电影分类排行榜
- 需求4:爬取国家药品监督总局中基于中华人民共和国化妆品生产许可证相关数据
需求1: 实现简易的网页采集器。
代码:
import requests
# UA伪装:
# UA:User-Agent(请求载体的身份标识)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
}