爬虫隐藏自身的ip并伪装成浏览器

最新推荐文章于 2024-08-09 10:55:15 发布

jasonLee_lijiaqi

最新推荐文章于 2024-08-09 10:55:15 发布

阅读量1w

点赞数 4

分类专栏： python学习文章标签：ｐｙｔｈｏｎ爬虫隐藏ｉｐ伪装成浏览器代理

本文链接：https://blog.csdn.net/jasonLee_lijiaqi/article/details/79384777

版权

本文介绍了爬虫如何隐藏自身的IP并伪装成浏览器进行访问。首先，可以通过使用代理IP来实现IP的隐藏，代理IP会先访问目标URL再将内容传递给本地IP。其次，伪装成浏览器的方法包括在Request的headers参数中修改或使用Request.add_header()方法设置User-Agent，使其看起来像是来自常见浏览器的请求。

摘要由CSDN通过智能技术生成

爬虫隐藏自身的ip并伪装成浏览器

１、使用代理访问

就是说使用代理Ｉｐ,代理ｉｐ访问url之后，再将网页的内容在传给本机的ｉｐ；

'''
使用代理访问
'''
import urllib.request
import random

url = 'http://www.whatismyip.com.tw'

#创建一个ｉｐｌｉｓｔ，随机使用ｉｐ
iplist = ['219.223.251.173:3128','203.174.112.13:3128','122.72.18.34:80']
#创建一个代理opener
proxy_support = urllib.request.ProxyHandler({
  'http':iplist[random.randin