鱼c笔记——Python爬虫（三）：使用User Agent和代理IP隐藏身份

最新推荐文章于 2023-09-05 09:41:52 发布

在到处之间找我

最新推荐文章于 2023-09-05 09:41:52 发布

阅读量766

点赞数

分类专栏： # Python学习笔记文章标签： Python爬虫修改headers 使用代理代理中遇到的问题

本文链接：https://blog.csdn.net/sinat_41104353/article/details/79276395

版权

本文介绍了如何在Python爬虫中修改User Agent和使用代理IP来避免被服务器识别，包括通过Request的headers参数和add_header()方法修改User Agent，以及利用ProxyHandler和build_opener()定制代理。同时，文章提到了使用代理IP时可能遇到的问题，如HTTP 503错误和连接拒绝，并给出了相应的解决建议。

摘要由CSDN通过智能技术生成

服务器检查链接一般是检查Headers里的User Agent来判断访问来源是代码还是浏览器，所以可以修改Headers达到正常访问网页的目的。

修改headers：

途径一：通过Request的headers参数修改

途径二：通过Request.add_header() 方法修改

解决面对高频率的访问IP可能会被屏蔽的方法：

一. 延迟提交的时间

import urllib.request
import urllib.parse
import json
import time


while True:
    content = input('请输入需要翻译的内容(输入'q!'退出程序)：')

    if content == 'q!':
        break
    
    url =  'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=http://www.youdao.com/'          #链接就是Request URL的那个

    '''
    head = {}
    head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'
    '''

    data = {}
    data['type'] = 'AUTO'