python3 requests+bs4 循环爬取ip地址池

最新推荐文章于 2023-06-29 15:45:00 发布
置顶 最新推荐文章于 2023-06-29 15:45:00 发布
阅读量724 收藏 2
点赞数
分类专栏： 爬虫类 文章标签： python3 ip地址池
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37376568/article/details/88756659
版权

之前为了公司方便使用，做了个爬淘宝评论的窗口软件。
但是ip一直是个难题，访问频率慢下载的就太慢。
访问频率快几次就被封、后来自己去了解了下搭建了个ip地址池

第一步、找代理网址

我看了几个，觉得西刺比较友好。西刺网址 http://www.xicidaili.com/nn/
看了下网页，比较简单，本来想用xpath的。但是没怎么用过bs4，想着用bs4练习下吧。
下面上代码

import requests
from bs4 import BeautifulSoup

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}


def get_ip(url):
    web_data = requests.get(url,headers = header).content.decode()
    #这里会报个warning警告错误，但是不影响，好像是下面这句代码的原因，没有深究
    soup = BeautifulSoup(web_data)
    #查找所有的tr
    ips = soup.find_all('tr')
    #注意此处是ip_lists。带s
    ip_lists = []
    for i in range(1,len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_lists.append({tds[5].text:tds[1].text +':'+ tds[2].text})
    #创建空列表在循环体外，每次找到正确的值，加入列表中
    #注意此处是ip_list。不带s
    ip_list = []
    print(ip_lists)
    for ip in ip_lists:
        try:
        	#这里设置timeout来验证ip响应时间
            res = requests.get('http://tool.oschina.net/codeformat/js',proxies =ip,timeout = 3)
            #这里看着有些繁琐，由于基础不稳，只能这样写
            print(ip[tuple(ip)[0]] +"已存")
            ip_list.append(ip)
        except :
            print(ip[tuple(ip)[0]] +" 链接超时,已舍弃")
    print('IP已更新')

if __name__ == '__main__':
   url = 'http://www.xicidaili.com/nn/'
   get_ip(url)

做了这些以后，但是远远不够，因为感觉使用起来不方便。。。那么、优化吧

既然用着不方便，那就引入数据库吧
如果能加个定时爬取，放在服务器上执行就更好了

那么，行动起来吧

import requests
from bs4 import BeautifulSoup
import random
import pymysql
from threading import Timer

user_agent_list = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
    'Opera/8.0 (Windows NT 5.1; U; en)',
    'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
    'Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)',
    'Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
    'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.3 Mobile/14E277 Safari/603.1.30',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
]

#看着乱不乱，这算是个福利吧，好多个agent，拿去自己用吧
#这里是从中随机选一个
UserAgent = random.choice(user_agent_list)
header = {'User-Agent': UserAgent}


def get_ip(url):
    web_data = requests.get(url,headers = header).content.decode()
    #这里会报个warning警告错误，但是不影响，好像是下面这句代码的原因，没有深究
    soup = BeautifulSoup(web_data)
    #查找所有的tr
    ips = soup.find_all('tr')
    #注意此处是ip_lists。带s
    ip_lists = []
    for i in range(1,len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_lists.append({tds[5].text:tds[1].text +':'+ tds[2].text})
    #创建空列表在循环体外，每次找到正确的值，加入列表中
    #注意此处是ip_list。不带s
    ip_list = []
    print(ip_lists)
    for ip in ip_lists:
        try:
        	#这里设置timeout来验证ip响应时间
            res = requests.get('http://tool.oschina.net/codeformat/js',proxies =ip,timeout = 3)
            #这里看着有些繁琐，由于基础不稳，只能这样写
            print(ip[tuple(ip)[0]] +"已存")
            ip_list.append(ip)
        except :
            print(ip[tuple(ip)[0]] +" 链接超时,已舍弃")
    #这里相比上一个加一句代码
    save_ip(ip_list)
    print('IP已更新')
    **#画重点**
    #这个是threading里的库，意思是呢，每隔3600秒执行一次get_ip函数，设定完，要加个start才能启动哦
    timer = Timer(3600,get_ip)
    timer.start()

def save_ip(ip_list):
	#链接数据库，我把地址匿了。哈哈
    conn = pymysql.connect(host="129.28.***.***",
                           port=3306,
                           user="root",
                           password="werf96520",
                           database="tb"
                           )
    cursor = conn.cursor()  # 这里网上大多叫创建游标，我理解的就是创建个对象
    #建立游标后呢，既然要循环存取，那么肯定要先清空旧的数据
   
    cursor.execute("truncate table ip")
    for i in ip_list:
        sql = 'insert into ip(ip) values ("%s")'
        #据说这样执行sql防注入，但是也没人注入我.....
        cursor.execute(sql % i)  # 执行
        #增加是commit、查询则是fetch_all。
        conn.commit()
    #关闭这个对象
    cursor.close()
    #关闭数据库连接
    conn.close()



if __name__ == '__main__':
   url = 'http://www.xicidaili.com/nn/'
   get_ip(url)

你以为这就结束了？？？

最后的最后

为了方便自己与别人使用，封装一下吧。
pip install pyinstaller
安装后即可开启封装操作，-F的意思是，只封装出一个exe，如果是不加-F，你会发现好多个东西，显得很累赘在这里插入图片描述

结果

放到服务器上运行，结果不错，但是这里呢，只是验证了ip是否可用，并没有验证是否高匿。
想要验证的同学，自己可以去 https://ip.cn 试下。

有疑问的童鞋可以加群另有python资料赠送，v15836676587.

在这里插入图片描述

去一一
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
requests实现ip代理池实验
11-25
python的requests包实现ip代理池(仅作为学习实验使用)
requests模块&代理IP池搭建&视频爬取
weixin_68531269的博客
11-24 4331
爬虫代理ip池，网络爬虫
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
xiangxue666的博客
06-29 2148
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
Python控制流程之for循环
qq_39218260的博客
01-23 536
【Python_requests学习笔记（六）】基于requests模块构建免费代理IP池
禾戊之昂的博客
03-22 574
此篇文章中介绍如何使用requests模块，抓取快代理的免费代理IP，创建免费的代理IP池。
requests 爬虫 IP池
weixin_43983838的博客
03-11 577
重点为： 1、一定要观察要爬取的详情页url有没有规律 2、爬取的时候，可以加入暂停的时间 其他就没什么了 今天做开县的爬取，感觉自己被坑了一波 链接有两种形式： 结果我爬着爬着就停了，于是我又找到最后一条，耶，找到了。然后我再从这个号开始爬 但是我总是爬着爬着就停了，这。。。。不会就是。。。。网址的服务器挂了叭 然后学长说，并不是！应该是我的IP被这个网站封了。 于是我就开始了 探索IP池...
python爬取代理IP并进行有效的IP测试实现
01-21
很多人在爬虫时为了防止被封IP，所以就会去各大网站上查找免费的代理IP，由于不是每个IP地址都是有效的，如果要进去一个一个比对的话效率太低了，我也遇到了这种情况，所以就直接尝试了一下去网站爬取免费的代理IP，...
python如何基于redis实现ip代理池
12-23
接下来，我们需要编写一个爬虫函数`spider_ip`，从指定的网页抓取IP地址和端口，然后调用`add_ip`将其添加到数据库（db0）中。这里以89ip.cn为例，实际使用时需要根据实际情况调整： ```python import requests ...
requests爬取股票业绩报告
03-21
本主题将深入探讨如何使用Python的requests库来爬取股票的业绩报告，以帮助投资者做出明智的选择。 首先，让我们了解requests库。requests是Python中一个非常强大的HTTP客户端库，它允许开发者轻松地向网络发送...
python 获取列表ip地址的归属地
08-28
在Python编程中，获取IP地址的归属地是一项常见的任务，特别是在网络数据分析或网络安全监测中。这个任务通常通过访问提供IP地址解析服务的第三方网站或API来实现，例如IP138.com。本项目中，我们有一个名为`gogo.py...
python3 requests中使用ip代理池随机生成ip的实例
12-25
啥也不说了，直接上代码吧！ # encoding:utf-8 import requests # 导入requests模块用于访问测试自己的ip import random pro = ['1.119.129.2:8080', '115.174.66.148', '113.200.214.164'] # 在(http://www.xicidaili.com/wt/)上面收集的ip用于测试 # 没有使用字典的原因是 因为字典中的键是唯一的 http 和https 只能存在一个 所以不建议使用字典 # 你的请求头信息 head = { 'User-Agent': 'Mozilla/5.0 (
【python网络爬虫】-构建免费代理池
最新发布
11-07
【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...
【微博爬虫教程&实例】基于requests、mysql爬取大数据量博主关键字下博文及评论
otonashi_ayana的博客
10-12 6319
（关键词：手把手教程、反爬、数据库、python爬虫、微博爬虫、较大数据量、数据简单过滤、ip代理池）本教程适合有实际应用需求的python爬虫入门者阅读，该实例针对目标网站微博在requests库爬虫的基础上做了一些问题的优化，最终实例可用满足于较大数据量的数据爬取需求。作者更希望从较入门内容出发制作教程，您可以对本文内容稍作省略。完整实例源码将放置在文末github链接中。
Python利用Requests库写爬虫（二）
fanblog的博客
08-24 148
学会了Request库的基本用法，接下来我想利用Requests来抓取火车票数据。 基本用法:Python利用Requests库写爬虫（一） 根据观察，数据接口如下:https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2015-05-23&from_station=NCG&to_station=CZQ 返回的是2015-5-23南昌到郴州的火车票信息,格式为json。 返回的数据的如下(只截取
python-requests模块实现ip代理池
H4ppyD0g的博客
09-28 5324
import json import telnetlib import requests import random # 代理ip列表 proxy_url = "https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list" # 写入可用ip代理池文件路径 ip_pool_file = "verified_proxies.json" # 用于测试代理ip是否可用的网站 test_url = "http://icanhazip.com
python爬虫设置代理ip池——方法（一）
热门推荐
睡着的月亮
05-01 7万+
"""在使用python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术，高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，那如何解决呢？使用代理ip，设置代理ip池。以下介绍的免费获取代理ip池的方法：优点：1.免费缺点：1.代理ip稳定性差需要经常更换2.爬取后ip存在很多不可用ip需要定期筛选小建议：该方法比较适合学习使用，如果做...
python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用
空空说技术的博客
11-26 1万+
python3爬虫系列18之随机User-Agent 和ip代理池的使用 我们前面几篇讲了爬虫增速多进程，进程池的用法之类的，爬虫速度加快呢，也会带来一些坏事。 1. 前言 比如随着我们爬虫的速度越来越快，很多时候，有人发现，数据爬不了啦，打印出来一看。 不返回数据，而且还甩一句话 是不是很熟悉啊？ 要想想看，人是怎么访问网站的？ 发请求，对，那么就会带有 request.headers， 那么...
python3 requests 代理_python3 requests中使用ip代理池随机生成ip的实例
weixin_33855603的博客
01-29 966
啥也不说了，直接上代码吧！# encoding:utf-8import requests # 导入requests模块用于访问测试自己的ipimport randompro = ['1.119.129.2:8080','115.174.66.148','113.200.214.164']# 在(http://www.xicidaili.com/wt/)上面收集的ip用于测试# 没有使用字典的原因是...
Python爬虫IP代理池的建立和使用
王大宝的CD
12-03 2万+
采用IP代理的方法避免短时间大量访问某网站服务器导致IP被封的情况，包括从网上抓取代理IP和端口以及验证其有效性。
帮我写一个python脚本爬取指定网页中的IP
04-21
from bs4 import BeautifulSoup url = "http://www.example.com" # 指定网页的URL地址 response = requests.get(url) # 发送HTTP请求 soup = BeautifulSoup(response.text, "html.parser") # 解析HTML页面 ips = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值