爬虫视频学习之requests模块

目录

1.简介

2.实战演练

（1）爬取搜狗首页的页面数据

（2）爬取搜狗指定词条对应的搜索结果的页面数据

（3）破解百度翻译

---

1.简介

requeset模块：python中原生的一款基于网络请求的模块，功能强大，简单便捷，且高效

作用：模拟浏览器发送请求

如何使用（requests模块的编码流程）：

• 指定url(Uniform Resource Locator,统一资源定位符)
• 发起请求
• 获取响应数据
• 持久化存储

环境安装：pip install requests

2.实战演练

（1）爬取搜狗首页的页面数据

"""爬取搜狗首页的页面数据"""
import requests
if __name__=="__main__":
    url='https://www.sogou.com/' #指定url
    response=requests.get(url=url) #发起请求，get方法会返回一个响应对象
    page_text=response.text #获取响应数据，.text返回的是字符串形式的响应数据
    with open('./sogou.html','w',encoding='utf-8') as fp: #持久化储存
        fp.write(page_text)
    print("爬取数据结束")

注：encoding=utf-8意思是编码格式为UTF-8格式。

编码是用预先规定的方法将文字、数字或其它对象编成数码,或将信息、数据转换成规定的电脉冲信号。为保证编码的正确性,编码要规范化、标准化,即需有标准的编码格式。

（2）爬取搜狗指定词条对应的搜索结果的页面数据

"""爬取搜狗指定词条对应的搜索结果的页面数据"""
#UA伪装：让爬虫对应的请求载体的身份标识伪装成某一款浏览器
#UA检测：门户网站的服务器会检测对应请求的载体的身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求；但是如果检测请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常请求，则服务器可能会拒绝请求
#User-Agent（请求载体的身份标识）
import requests
if __name__=="__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.125 Safari/537.36'
    }
    url='https://www.sogou.com/web?query=波晓张'
    #处理url携带的参数：封装到字典中
    kw=input('enter a word:')
    param={
        'query':kw
    }
    #对指定的eurl发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    response=requests.get(url=url,params=param,headers=headers)
    page_text=response.text
    fileName=kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,"保存成功")

注：反爬策略：UA检测；反反爬策略：UA伪装

（3）破解百度翻译

"""破解百度翻译dog"""
import requests
if __name__=="__main__":
    #第一步：指定url
    post_url='https://fanyi.baidu.com/sug'
    #第二步：进行UA伪装
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.125 Safari/537.36'}
    #第三步：有参数的话进行参数处理，post请求参数处理（同get请求一致）
    data={'kw':'dog'}
    #第四步：请求发送
    response=requests.post(url=post_url,data=data,headers=headers)
    #第五步：获取响应数据：json方法返回的是obj（对象）（如果确认响应数据是json类型，才可以使用json()）
    dic_obj=response.json()
    print(dic_obj)

"""破解百度翻译"""
import requests
if __name__=="__main__":
    #第一步：指定url
    post_url='https://fanyi.baidu.com/sug'
    #第二步：进行UA伪装
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.125 Safari/537.36'}
    #第三步：有参数的话进行参数处理，post请求参数处理（同get请求一致）
    word=input("enter a word")
    data={'kw':word}
    #第四步：请求发送
    response=requests.post(url=post_url,data=data,headers=headers)
    #第五步：获取响应数据：json方法返回的是obj（对象）（如果确认响应数据是json类型，才可以使用json()）
    dic_obj=response.json()
    print(dic_obj)

"""破解百度翻译"""
import json
import requests
if __name__=="__main__":
    #第一步：指定url
    post_url='https://fanyi.baidu.com/sug'
    #第二步：进行UA伪装
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.125 Safari/537.36'}
    #第三步：有参数的话进行参数处理，post请求参数处理（同get请求一致）
    word=input("enter a word")
    data={'kw':word}
    #第四步：请求发送
    response=requests.post(url=post_url,data=data,headers=headers)
    #第五步：获取响应数据：json方法返回的是obj（对象）（如果确认响应数据是json类型，才可以使用json()）
    dic_obj=response.json()
    #持久化储存
    fileName=word+'json'
    fp=open('./dog.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!!!')

 注：阿贾克斯请求成功后，会在当前页面进行局部刷新