爬虫（三）：爬虫构建自己的代理池

免费代理爬取构建自己的代理池

其实，爬虫也很简单，唯一麻烦的就是网站的反爬。所以很多时候我们都会使用代理IP，来保护我们的IP。当然在公司的会有购买自己的代理池，但是像我们这些白嫖党就能省则省。代码很简单。实现网址为西刺，米扑也行。
但是不是所有的都能使用，因此后续还需要改进的就是代理检测。过几天会更新

import requests
import headers
import re

def get_data():
    url="https://www.xicidaili.com/nn/"
    global html
    response=requests.get(url,headers=headers.agent(),timeout=0.5)
    response.encoding=response.apparent_encoding
    html=response.text
    
def  address():
    pattern=re.compile(r'<td class="country">.*?<td>(.*?)</td>',re.S)
    proxies_list=pattern.findall(html)
    global x
    x=[]
    for i in range(1,101):#每页有100个免费代理
        x.append(proxies_list[(i-1)*3])
    #print(x)

def  port():
    pattern=re.compile(r'<td>(.*?)</td>',re.S)
    port_list=pattern.findall(html)
    global y
    y=[]
    for i in range(1,101):
        if i==1:
            y.append(port_list[i])
        else:
            y.append(port_list[(i-1)*6+1])
    #print(y)

def set_proxies():
    z=[]
    for i in range(100):
        m=str(x[i])+":"+str(y[i])   
        proxy={"http":"http:"+m}
        print(proxy)
        z.append(proxy)
    print(z)
if __name__=="__main__":
    get_data()
    address()
    port()
    main()