Python 爬虫 ip防ban

最新推荐文章于 2020-07-30 00:06:36 发布
最新推荐文章于 2020-07-30 00:06:36 发布
阅读量1k 收藏 1
点赞数
分类专栏： python 文章标签： python ip 爬虫 ban 代理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013303402/article/details/53318028
版权

1：其核心为就是通过代理ip去爬

代码实现很简单

import urllib
urllib.urlopen('http://www.xxx.com', proxies={"http":'http://122.72.32.74:80'})
log日志如下
139.224.61.174 - - [24/Nov/2016:10:44:21 +0800] "GET / HTTP/1.0" 200 14 "-" "Python-urllib/1.17" "-"
122.72.32.74 - - [24/Nov/2016:10:44:22 +0800] "GET / HTTP/1.1" 200 22 "-" "Python-urllib/1.17" "-"
可以看到第二条的log 已经生效了

具体的代理ip http://www.xicidaili.com/ 网站有

2：同一个ip爬网站可以通过不同的USER-AGENT去爬

USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
"Opera/8.0 (Windows NT 5.1; U; en)",
"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) ",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER) ",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E) ",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
"Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
"Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
"Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
"Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
"Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
"UCWEB7.0.2.37/28/999",
"NOKIA5700/ UCWEB7.0.2.37/28/999",
"Openwave/ UCWEB7.0.2.37/28/999",
"Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
"Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
"Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
"Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
"Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

参考资料
http://www.cnblogs.com/rwxwsblog/p/4575894.html
http://blog.csdn.net/tao_627/article/details/42297443

xpisme
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫防ban设置--爬虫
mengjiexu_cn的博客
10-05 221
setting.py: # Scrapy settings for kuaidaili project # # For simplicity, this file contains only the most important settings by # default. All the other settings are documented here: # # http://doc...
Python爬虫防封杀方法集合
人生苦短， 还不用Python？
03-26 699
前言 在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，这里自己总结下如何避免。 方法1：设置等待时间 有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取信息。 常见的设置等待时间有两种，一种是显性等待时间(强制停几秒)，一种是隐性等待时间(看具体情况，比如根据元素加载完成需要时间而等待) ...
采集时如何有效地防止被网站屏蔽IP
weixin_34375233的博客
11-12 1052
2019独角兽企业重金招聘Python工程师标准>>> ...
Python爬虫ip池
ykallan的博客
01-12 890
挂出来两个免费代理池，有需要可以看一下 不保证能够使用，请自行校验 西刺免费代理IP https://www.xicidaili.com/ 云代理 http://www.ip3366.net/free/?stype=2
安居客[58租房]爬虫--解决ttf字体反爬
weixin_43125274的博客
07-30 1795
解决安居客ttf字体反爬虫 解决思路 在爬取安居客房源的过程中发现爬取下来的的数字是&#xxxxx的乱码，而不是正常的数字，因为从前没有接触过此类型的反爬，所以在这里写下我解决这个反爬的思路。 在这里可以发现所有的乱码的字体都有strongbox这个属性，于是去搜索strongbox。 可以发现第一条非常的可疑，点开可以发现是这样的一条js代码。 <script> !function(w, d) { if (!w.ActiveXObject || d.documentMode &gt
Python爬虫防封ip的一些技巧
09-16
### Python爬虫防封IP技巧详解 随着网络数据的重要性日益凸显，越来越多的人开始利用Python爬虫技术抓取网络上的公开信息。然而，在抓取过程中，经常会遇到网站采取的各种反爬措施，其中最常见的就是通过限制IP地址...
python爬虫基础python爬虫基础
最新发布
12-28
python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础...
python爬虫代理ip
01-06
这里面有无数个ip地址，用于爬虫方面 ip.pkl文件可以由python的pickle库中的load函数导入成链表
Python爬虫设置ip代理过程解析
09-16
主要介绍了Python爬虫设置ip代理过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Scrapy研究探索（七）——如何防止被ban之策略大集合
热门推荐
younghz
06-29 4万+
话说在尝试设置download_delay小于1，并且无任何其他防止被ban的策略之后，我终于成功的被ban了。如下： 敌退我进，敌攻我挡。 本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。 1.策略一：设置download_delay 这个在之前的教程中已经使用过（http://blog.csdn.net/u012150179/article
安居客Python爬虫源代码
11-25
课程项目：安居客Python爬虫源码，简单，通俗易懂，Linux课堂实验，数据爬取且爬取后文件整洁美观
python爬虫防止IP被封的一些措施
python学习者的博客
10-05 3566
在编写爬虫爬取数据的时候，因为很多网站都有反爬虫措施，所以很容易被封IP，就不能继续爬了。在爬取大数据量的数据时更是瑟瑟发抖，时刻担心着下一秒IP可能就被封了。 本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。 伪造User-Agent 在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。比如： headers = {'...
Python获取IP地址的正确姿势
Hello Word!
07-01 1318
网上有两种方法， 亲测第二种在局域内网可以准确获取到： 第一种： import socket hostname = socket.gethostname() ip = socket.gethostbyname(hostname) print(ip) 第一种可能获取到的是'127.0.1.1'而不是准确的内网IP 第二种（获取地是eth0的ip？）： s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.connect(("8.8.8.8", 80))
爬虫第一弹：安居客房地产数据爬虫
qq_39677320的博客
06-14 9332
爬虫第一弹：安居客房地产数据爬虫 一、功能分析：1、我们要爬取的安居客南昌新房的420个楼盘的信息，每个楼盘涵盖'楼盘名称' '楼盘特点' '参考单价' '物业类型' '开发商' '区域位置' '楼盘地址' '售楼处电话' '最低首付' '楼盘户型' '最新开盘' '交房时间' '售楼处地址' '预售许可证' '建筑类型' '产权年限' '容积率' '绿化率' '规划户数' '楼层状况' '工程进...
python 判断一个IP地址是否合法
KWSY2008的专栏
07-24 7177
最近在看tornado的源码，遇到了 is_valid_ip(ip) 这个函数，该函数用来判断一个IP地址是否合法，支持IPv4和IPv6,想到自己前阵子也遇到过这个问题，看着源码的解决方法要比自己的好多了，就摘抄下来，以留备用 def is_valid_ip(ip): """Returns true if the given string is a well-formed IP add
scrapy: 使用HTTP代理绕过网站反爬虫机制
huangle63的专栏
12-19 1万+
https://github.com/kohn/HttpProxyMiddleware https://github.com/cocoakekeyu/autoproxy http://blog.csdn.net/xiao4816/article/details/50650075 Table of Contents 1. 简介2. 设计3. 实现 抓免费代理的脚本H
python爬取安居客（BeautifulSoup）
castingA3T的博客
01-20 6372
# -*- coding: utf-8 -*- """ Created on Fri Dec 15 10:26:06 2017 @author: Administrator """ import requests from bs4 import BeautifulSoup import time headers={ 'User-Agent':'Mozilla/5.0 (Wind
一个简单的爬虫——收集安居客上海租房信息
薛晓伟
08-14 8164
Part 1: 2016年8月13号晚开始写第三个爬虫小程序（安居客），至8月14号中午完成编写并运行成功。 项目源码：https://github.com/carlblocking/xxw-for-public/tree/master/AnJuKeSpider 总体思路：   这里借鉴了Web Magic的框架，但没有完全照搬。这里对于Web Magic，个人还是有一点小意见，即里
python爬虫ip代理
10-17
好的，关于Python爬虫中的IP代理，我可以给你一些简单的介绍。 在爬取网站时，我们可能会遇到一些反爬虫机制，比如限制IP访问频率等。这时候我们可以使用IP代理来隐藏自己的真实IP地址，从而规避这些限制。 Python...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值