requests模块

requests模块

1.网络请求模块

1.urllib模块（古老比较麻烦）
2…requests模块（简单主要）

2.什么是requests模块

requests模块：Python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
requests作用：模拟浏览器发请求

3.requests 如何使用（requests模块的编码流程）

1.指定url
2.发起请求
3.获取响应数据
4.持久化存储

4.环境安装

pip install requests

5.实战编码

1.需求：爬取搜狗首页的页面数据

# 需求:爬取搜狗首页的页面内容
import requests

if __name__ == "__main__":
 # step 1 指定url
 url = "https://www.sogou.com/"
 # step 2:发起请求
 # get方法会返回一个响应对象
 response = requests.get(url=url)
 # step 3:获取响应数据,text返回的是字符串形式的响应数据
 page_text = response.text
 print(page_text)
 # step 4:持久化存储
 with open('./sougou.html','w',encoding='utf-8') as fp:
     fp.write(page_text)
 print('爬取数据结束！！！')

2.# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)

# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
#UA：User-Agent(请求载体的身份标识)
#UA伪装:门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
#说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求
#则服务器端就很有可能拒绝该次请求
#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests
if __name__=="__main__":
 #UA伪装：将对应的User-Agent封装到一个字典中
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 #step 1 指定url
 url="https://www.sogou.com/web"
 #处理url携带的参数：封装到字典中
 kw=input('enter a word:')
 param={
     'query':kw
 }
 # step 2 发起请求
 #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
 response=requests.get(url=url,params=param,headers=headers)

 page_text=response.text
 fileName=kw+'.html'
 with open(fileName,'w',encoding='utf-8')as fp:
     fp.write(page_text)
 print(fileName,'保存成功！！！')

3#破解百度翻译

#破解百度翻译
# 对应的请求是post请求（携带参数）
#响应数据是一组json数据
import json

import requests
if __name__=="__main__":
 #step 1 指定url
 post_url='https://fanyi.baidu.com/sug'
 # 进行UA伪装
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 #3.post请求参数处理（同get请求一致）
 word=input('enter a word:')
 data={
     "kw":word
 }
 #4.请求发送
 reapinse=requests.post(url=post_url,data=data,headers=headers)
 #5.获取响应数据：json（）方法返回的是obj（如果确认响应数据是json类型的，才可以使用json（））
 dic_obj=reapinse.json()


 #进行持久话存储
 fileName=word+'.json'
 fp=open(fileName,'w',encoding='utf-8')
 json.dump(dic_obj,fp=fp,ensure_ascii=False)
 print("over!!!")

4#爬去豆瓣电影分类排行榜

#爬去豆瓣电影分类排行榜
import requests
import json
if __name__=="__main__":
 #step 1 获取url
 url='https://movie.douban.com/j/chart/top_list'
 param={
     "type": "24",
     "interval_id": "100:90",
     "action":"",
     "start": "1",#从库中的第几部电影取
     "limit": "20"#一次取出的个数
 }
 # 进行UA伪装
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 resonse=requests.get(url=url,params=param,headers=headers)
 list_data=resonse.json()

 fp=open('./d.json','w',encoding='utf-8')
 json.dump(list_data,fp=fp,ensure_ascii=False)
 print("over!!!")