Python爬虫requests模块基础二

一含义:

requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

作用：模拟浏览器发请求。

二如何使用：（requests模块的编码流程）

1.指定url 

      -----UA伪装

      -----请求参数的处理

2.请求参数的处理

3.发请求

4.获取响应数据,json()返回的是obj

5,持久化存储

#输入参数可以找headers旁边的payload

三实战编码:

1.需求：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

import json
import requests
#1.指定url
post_url='https://fanyi.baidu.com/?aldtype=85#en/zh/dog'
#2.UA伪装
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
#携带参数处理
kw=input('enter a word:')
data={'kw':kw}

4.请求发送
response=requests.post(url=post_url,json=data,headers=headers)
print(response.text)

 显示的是你请求的参数格式

2.需求：破解百度翻译

3.需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据

4.需求：爬取肯德基