通俗地说逻辑回归:如何防止爬虫时IP被封!算法(一)

今天给大家分享的是如何在爬取数据的时候防止IP被封,今天给大家分享两种方法,希望大家可以认真学习,再也不用担心被封IP啦。

通俗地说逻辑回归:如何防止爬虫时IP被封!算法(一)
第一种:

降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率

第二种:

为了提高效率,我们可以使用代理ip来解决,ip是亿牛云的动态转发代理,以下是代理配置过程的示例

Selenium

from selenium import webdriver

 import string

 import zipfile

 

 # 代理服务器

 proxyHost = "t.16yun.cn"

 proxyPort = "31111"

 

 # 代理隧道验证信息

 proxyUser = "username"

 proxyPass = "password"

 

 def create_proxy_auth_extension(proxy_host, proxy_port,

 proxy_username, proxy_password,

 scheme='http', plugin_path=None):

 if plugin_path is None:

 plugin_path = r'C:/{}_{}@t.16yun.zip'.format(proxy_usernam
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值