python简单的构建爬虫ip代理池

python简单的构建爬虫ip代理池

在此说明，这里用的是免费代理，讯代理的免费代理

这是用到的库安装很简单，pip install xxxxx就行，我这里用的是mongodb数据库，安装教程很多，这里就不多言了

• 第一步，就是简单的向页面发送请求
  代码如下
  
  r = requests.get(url, headers=kv) 发出请求，返回信息
  if r.status_code == 200: 判断一下状态码有没有错
  之后就返回获得信息

• 第二部就是提取信息了，也不难

本篇用到的是正则，用美丽汤等别的也一样，大概的步骤差不多。
我先创建了两个列表，之后会用来筛选可用的ip，一个是ipadd，另一个是portadd。
我这里用了两个正则，一个是用来匹配ip的信息，另一个是用来匹配port的信息，ipaddress字面意思就是IP地址。

• tags0 = re.compile(ipaddress0, re.S).findall(html)*
  

全局获取符合的信息，后面一条也一样，然后放在变量里
然后进行循环， for tag0, tag1 in zip(tags0, tags1):，我这里偷懒就两个一起来。看的朋友还是看看就好。
ipadd.append(tag0)， 这句用的简单的.append的方法将内容放到列表里，下面一条一样。

•        proto = "https"
           erver = tag0+':'+tag1
           try:
               ron = requests.get("http://wan.360.cn/",proxies={proto:erver})
               # print(ron.text)*
           except:
               ipadd.remove(tag0)
               portadd.remove(tag1)
               print("{0}{1}ip没用已经删除".format(tag0,tag1))
  

这段代码就是定义变量，proto = “https"这句有没有都可以。
然后ron = requests.get(“http://wan.360.cn/”,proxies={proto:erver})进行查验ip是不是可以用。
假如ip是"122.5.179.52”'port’是 ‘9000’，那么 proxies={proto:erver}这个就是proxies=https：122.5.179.52：9000。简单的用来验证。
之后，就是处理那些不可用的，(.remove)这个方法就是吧那些不可用的从列表里剔除。

- for i, j in zip(ipadd,portadd):
                   yield {
                       'ip': i,
                       'port': j
                   }

最后就可以将那些好的ip存入字典
这里的重点就是yield这个关键字，这相当于一个生成器，和return很像，不过有些不同，如果你要有一组数据要返回，那么return会一次性的返回，而yield是一个一个数据的来，着对于内存较友好，而且也快一些。
这里强调一下，在这下面就别搞 print（）这些，你看不到东西，yield是返回，如果真的想看看返回的结果，后面在函数执行后可以看，后面代码我也有写，莫急。

def memory(mongo):
    try:
        client = pymongo.MongoClient()
        db = client['agent']
        collection = db['agent']
        for mon in mongo:
            print(mon)
            aaa = collection.insert([mon])
            for aa in aaa:
                print('{0}存储成功'.format(aa))
    except:
        print('存储错了')

这段代码，看函数名你也知道干嘛的，memory存储。这里就是将刚刚已经处理好的数据存进mongodb数据库了。

client = pymongo.MongoClient()

这句连接数据库，（）里我没写东西，就是默认的本机，当然写也比较好，个人比较懒（别骂，要脸）

db = client['agent']
collection = db['agent']

然后就是指定数据库和指定集合，个人比较懒名字都一样，用的agent代理的英语，这里强调一下可以不用和我写的一样，db = client.agent这样也一样的效果。

        for mon in mongo:
            print(mon)
            aaa = collection.insert([mon])
            for aa in aaa:
                print('{0}存储成功'.format(aa))

然后循环一下，用 collection.insert()插入mongodb数据库。

最后的函数main（），用来调用之前的函数。大家会发现main（）里有参数number。

由于一页只有15条数据，个人觉得不够，就加了参数number。用来翻页继续爬的。


最后的代码里面 i 是150 ，这里讲一下个人之前已经爬了前面150页的ip，之后就从150来继续向后爬。
遍历到一千，就是我要爬到第一千页，。
第二张图片是页数的源代码，可以发现规律，1就是第一页，很简单。

最后给一下全部代码和替他的图片和mongodb的效果图。

import re
import time
import requests
import pymongo


kv = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 ',
      'Cache-Control': 'max-age=31104000',
      'Connection': 'keep-alive'
      }

def GET(url):
    try:
        r = requests.get(url, headers=kv)
        r.encoding = r.apparent_encoding
        if r.status_code == 200:
            # print(r.text)
            return r.text

    except:
        print("respons出现错误")
def gain(html):
    try:
            ipadd=[]
            portadd=[]
            ipaddress0 ='<tr>.*?data-title="IP">(.*?)</td>.*?</tr>'
            ipaddress1 ='<tr>.*?data-title="PORT">(.*?)</td>.*?</tr>'
            tags0 = re.compile(ipaddress0, re.S).findall(html)
            tags1 = re.compile(ipaddress1,re.S).findall(html)
            for tag0, tag1 in zip(tags0, tags1):
                ipadd.append(tag0)
                portadd.append(tag1)
                proto = "https"
                erver = tag0+':'+tag1
                try:
                    ron = requests.get("http://wan.360.cn/",proxies={proto:erver})
                    # print(ron.text)
                except:
                    ipadd.remove(tag0)
                    portadd.remove(tag1)
                    print("{0}{1}ip没用已经删除".format(tag0,tag1))
            for i, j in zip(ipadd,portadd):
                yield {
                    'ip': i,
                    'port': j
                }
    except:
        print('获取出现错误')

def memory(mongo):
    try:
        client = pymongo.MongoClient()
        db = client['agent']
        collection = db['agent']
        for mon in mongo:
            print(mon)
            aaa = collection.insert([mon])
            for aa in aaa:
                print('{0}存储成功'.format(aa))
    except:
        print('存储错了')

def main(number):
    url ="https://www.kuaidaili.com//free/inha/"+str(number)
    html = GET(url)
    mongo= gain(html)
    # for mon in mongo: 这里可以让那些想看yield的朋友看看
    #     print(mon)
    memory(mongo)


if __name__ == '__main__':
    i = 150
    for i in range(1000):
        main(number=i)
        time.sleep(2)

最后，欢迎大家指点，提出错的地方。