文章目录
一、requests模块的作用
模拟浏览器发请求.
二、requests模块的使用
1.指定url
url = 'https://www.sogou.com/'
2.发请求
- get方法会返回一个响应对象
response = requests.get(url=url)
3.获取响应数据
page_text = response.text
4.持久化存储
with open('./sogou.html', 'w', encoding='utf-8') as f:
f.write(rtext)
三、案例
UA检测 : 门户网站的服务器会检测对应请求的载体的身份标识,
如果检测到请求的载体身份标识为某一浏览器, 说明该请求为一正常请求,
但是如果检测到请求的载体身份标识不是基于某一款浏览器, 则表示该请求为不正常请求,则服务器会拒绝该次请求
1. 爬取搜狗指定词条对应的搜索结果页面
- UA伪装 : 让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == '__main__':
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.75'
}
# 1. 指定url
url = 'https://www.sogou.com/web'
# 指定搜索数据
reaw = input("请求输入要搜索的数据:")
param = {
'query': reaw,
}
# 2. 发请求
response = requests.get(url=url, params=param, headers=headers)
# 3. 获取响应数据
rtext = response.text
filename = reaw + '.html'
# 4. 持久化存储
with open(filename, 'w', encoding='utf-8') as f:
f.write(rtext)
2. json.dumps()
json.dumps()用于将dict类型的数据转成str,因为如果直接将dict类型的数据写入json文件中会发生报错,因此在将数据写入时需要用到该函数。
3. 破解百度翻译
import requests
import json
if __name__ == '__main__':
# 伪装成浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
}
translate = input("请输入要翻译的数据: ")
# 指定要搜索的数据
data = {
'kw': translate,
}
# 1. 指定url
url = 'https://fanyi.baidu.com/sug'
# 2. 发请求
response = requests.post(url=url, data=data, headers=headers)
# 3. 获取响应数据
rjson = response.json()
# 4. 持久化操作
# fp = open(data.get('kw') + '.json', 'w', encoding='utf-8')
# json.dump(rjson, fp, ensure_ascii=False)
with open(translate + '.json', 'w', encoding='utf-8') as f:
f.write(json.dumps(rjson, ensure_ascii=False))
4. 爬取豆瓣电影分类排行榜
import requests
import json
if __name__ == '__main__':
# 伪装成浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
}
param = {
'type': '24',
'interval_id': '100:90',
'action':'',
'start': '0',
'limit': '1',
}
# 1. 指定url
url = 'https://movie.douban.com/j/chart/top_list'
# 2. 发请求
response = requests.get(url=url, params=param, headers=headers)
# 3. 获取响应数据
rjson = response.json()
print(rjson)
# 4. 持久化操作
with open('douban.json', 'w', encoding='utf-8') as f:
f.write(json.dumps(rjson, ensure_ascii=False))