学习笔记(03):Python爬虫开发-requests模块巩固深入案例之简易网页采集器UA伪装，

最新推荐文章于 2024-04-21 15:05:53 发布

于喝水

最新推荐文章于 2024-04-21 15:05:53 发布

阅读量225

点赞数 3

分类专栏：研发管理文章标签： python 爬虫编程语言 Python 数据分析

本文链接：https://blog.csdn.net/weixin_45925755/article/details/104241421

版权

研发管理专栏收录该内容

11 篇文章 2 订阅

订阅专栏

立即学习:https://edu.csdn.net/course/play/24454/306760?utm_source=blogtoedu

# 简易的网页采集器
# UA伪装
"""UA:User-Agent(请求载体的身份标识)
UA检测：门户网站会的服务器会检测对应请求的载体身份标识，如果检测到请求的载体神扥标识
为某一款浏览器
该请求为一个正常的请求，但是如果检测到请求的载体身份标识不是某一浏览器，
则表示改为不正常的请求，服务器端，很可能拒绝你的请求
UA伪装，一定要用：让爬虫对应的身份标识伪装成某一浏览器"""
import requests
if __name__ =="__main__":
    url="https://www.sogou.com/web?"
    #UA伪装将对应的User-Agent封装到一个字典中
    header ={
        "User-Agent":"Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"
    }#浏览器所对应的身份标识
    #处理url携带的参数：把url参数封装到字典中
    kw = input("enter a word")
    param ={
        "query":kw
    }
    # 对指定的url发起请求对应的url是携带参数的，并且请求过程中处理了参数
    r=requests.get(url=url,params=param,headers=header)
    #
    page_text = r.text
    print(page_text)
    fileName = kw+".html"  # 搜索关键字
    with open (fileName,"w",encoding="UTF-8") as fp:
        fp.write(page_text)

    print(fileName,"保存成功")