python获取免费代理

原创 2018年04月17日 15:08:33

一、需求

在使用爬虫抓取页面时有时会封ip,这时需要使用代理,所以需要使用代理来规避封ip带来的麻烦,需求量不大的话使用免费的代理即可,这个小程序就是来干这个的。

二、程序说明

  • 程序结构? 、
    不存在的!整个小程序都在一个文件内存储
  • 思路
    • 获取几个免费代理网站的所有代理
      根据几个网站的不同需要使用不同的数据获取方式,比如快代理:
      def proxy_kuai(self):
      """抓取快代理中的免费代理"""
      base_url = 'https://www.kuaidaili.com/free/inha/{}/'
      for i in range(1, 5):
        time.sleep(1)
        res = requests.get(base_url.format(i), headers=self.headers)
        soup = BeautifulSoup(res.text, 'lxml')
        trs = soup.find_all('tr')
        for tr in trs[1:]:
            tds = tr.find_all('td')
            self.queue.put({str(tds[3].text).lower(): str(tds[0].text) +
                            ':' + str(tds[1].text)})
    • 上述代码中最后将结果放入队列中,因为之后要用多线程来进行验证,所以使用了python自带的queue队列
    • 最后该验证获取的代理哪些可用,我这边是向http://checkip.amazonaws.com来验证,通过requests.get(url, proxies=proxies, timeout=2.01)来验证,如果是4xx或者5xx的响应状态,get函数会报错,所以使用try-except来捕获异常,完成自己的目标。
    • 验证通过的代理可以存储为自己想要的格式,这里使用的是txt
  • 部分代码演示

  • def run(self):
          """
          进行验证并且存储到给定的文件中去
          """
          start_ips = time.time()
          print('------开始获取所有免费代理地址-------')
          self.get_ips()
          end_ips = time.time()
          print('------获取结束, 总耗时:{:.2f}s-------'.format(end_ips - start_ips))
          print('------开始验证可用代理-------')
          start_verf = time.time()
          threads = []
          while not self.queue.empty():
              for thread in threads:
                  if not thread.is_alive():
                      # 移除停止活动的线程
                      threads.remove(thread)
              while len(threads) < self.max_threads:
                  porxy = self.queue.get()
                  thread = threading.Thread(target=self.go_verify, args=(porxy,))
                  thread.setDaemon(True)
                  thread.start()
                  threads.append(thread)
          end_verf = time.time()
          print('------验证结束,总耗时:{:.2f}s-------'.format(end_verf - start_verf))
          with open('http.txt', 'w') as f:
              for proxy in self.http:
                  f.write(proxy['http'] + '\n')
          with open('https.txt', 'w') as f:
              for proxy in self.https:
                  f.write(proxy['https'] + '\n')
          print('------存储完毕,存储地址为:{} 以及 {}------'
                .format('http.txt', 'https.txt'))

  • 效果图展示
    运行状态
    运行状态
    运行结果
    运行结果 

Python获取免费的可用代理

Python获取免费的可用代理在使用爬虫多次爬取同一网站时,经常会被网站的ip反爬虫机制给禁掉,这时就可以通过使用代理来解决。目前网上有很多提供最新免费代理列表的网站,这些列表里很多的代理主机是可用的...
  • tobacco5648
  • tobacco5648
  • 2016-02-05 22:53:11
  • 53743

python3获取免费代理IP

需要代理IP的,拿过去直接可以用。如果这个觉得这个代理网站的ip太少,可以自行添加子类实现相应方法即可...
  • yixianfeng41
  • yixianfeng41
  • 2016-11-05 15:40:10
  • 2898

Python2.*爬虫获取免费有效IP代理

爬虫代理的获取代码获取网站免费的代理IP
  • idKevin
  • idKevin
  • 2017-07-18 14:33:34
  • 3603

使用python为爬虫获取免费代理ip

免费代理ip的爬取 爬虫一直是python使用的一个重要部分,而许多网站也为此做了许多反爬措施,其中爬虫访问过于频繁直接封ip地址也作为一种“伤敌一千,自损八百”的方法被许多网站采用,代理ip...
  • qq2667126427
  • qq2667126427
  • 2018-03-03 11:14:33
  • 150

利用Python爬取可用的代理IP

我们平时在用Python爬虫时,有时会要用到IP代理,有时因为IP被封禁导致需要更换IP进行爬取。 网上有很多的免费代理IP网站,但不是所有的ip都能用,所以这篇文章教大家如何爬取可用的代理IP。 ...
  • fantacy10000
  • fantacy10000
  • 2017-08-05 16:03:42
  • 3484

使用Python自动获取可用代理列表

今天闲来无事,随便写的一个从代理发布网站上提取可用代理列表的脚本。运行后,可以获取http://cn-proxy.com/ 发布的可用代理ip和端口的列表。         运行效果如下:    ...
  • wucl202000
  • wucl202000
  • 2015-06-11 22:08:29
  • 813

一键获取免费真实的匿名代理

專 欄 ❈夏洛之枫,从销售转为程序员,Python爬虫爱好者。 github: https://github.com/ShichaoMa/proxy_factory blog: ...
  • BF02jgtRS00XKtCx
  • BF02jgtRS00XKtCx
  • 2017-11-28 00:00:00
  • 665

python自制免费代理IP服务

python去各大免费代理ip网站抓取代理ip并做校验入库,然后对库里的ip不停做校验,然后用flask做成api接口 目录结构: ProxyIPGet |----app     |----flas...
  • u013055678
  • u013055678
  • 2017-04-09 22:38:34
  • 6309

Python ip 代理池爬取工具,包含各大代理网站爬取脚本,实时获取最新免费代理IP

  • 2017年12月19日 15:15
  • 99KB
  • 下载

免费代理IP的获取方式——编程实现

如果你做过网络爬虫,就一定知道代理IP的作用。现在越来越多的网站意识到内容的保护性,所以会做出许多防抓取的措施,而其中一种比较有效的方式就是单个IP访问的页面数量限制,那么如何突破这种限制呢??...
  • fhg12225
  • fhg12225
  • 2016-09-14 16:13:22
  • 46805
收藏助手
不良信息举报
您举报文章:python获取免费代理
举报原因:
原因补充:

(最多只允许输入30个字)