爬虫 - requests模块

---

一、requests模块的作用

模拟浏览器发请求.

二、requests模块的使用

1.指定url

url = 'https://www.sogou.com/'

2.发请求

• get方法会返回一个响应对象
  response = requests.get(url=url)

3.获取响应数据

page_text = response.text

4.持久化存储

with open('./sogou.html', 'w', encoding='utf-8') as f:
    f.write(rtext)

三、案例

UA检测 : 门户网站的服务器会检测对应请求的载体的身份标识，
如果检测到请求的载体身份标识为某一浏览器, 说明该请求为一正常请求,
但是如果检测到请求的载体身份标识不是基于某一款浏览器, 则表示该请求为不正常请求,则服务器会拒绝该次请求

1. 爬取搜狗指定词条对应的搜索结果页面

• UA伪装 : 让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.75'
    }
    # 1. 指定url
    url = 'https://www.sogou.com/web'
    # 指定搜索数据
    reaw = input("请求输入要搜索的数据:")
    param = {
        'query': reaw,
    }
    # 2. 发请求
    response = requests.get(url=url, params=param, headers=headers)
    # 3. 获取响应数据
    rtext = response.text
    filename = reaw + '.html'
    # 4. 持久化存储
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(rtext)

2. json.dumps()

json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。

3. 破解百度翻译

import requests
import json

if __name__ == '__main__':
    # 伪装成浏览器请求
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
    }
    translate = input("请输入要翻译的数据: ")
    # 指定要搜索的数据
    data = {
        'kw': translate,
    }
    # 1. 指定url
    url = 'https://fanyi.baidu.com/sug'
    # 2. 发请求
    response = requests.post(url=url, data=data, headers=headers)
    # 3. 获取响应数据
    rjson = response.json()
    # 4. 持久化操作
    # fp = open(data.get('kw') + '.json', 'w', encoding='utf-8')
    # json.dump(rjson, fp, ensure_ascii=False)
    with open(translate + '.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(rjson, ensure_ascii=False))

4. 爬取豆瓣电影分类排行榜

import requests
import json

if __name__ == '__main__':
    # 伪装成浏览器请求
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
    }
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action':'',
        'start': '0',
        'limit': '1',
    }
    # 1. 指定url
    url = 'https://movie.douban.com/j/chart/top_list'
    # 2. 发请求
    response = requests.get(url=url, params=param, headers=headers)
    # 3. 获取响应数据
    rjson = response.json()
    print(rjson)
    # 4. 持久化操作
    with open('douban.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(rjson, ensure_ascii=False))