西刺代理python_Python四线程爬取西刺代理

import requests

from bs4 import BeautifulSoup

import lxml

import telnetlib #验证代理的可用性

import pymysql.cursors

import random

import threading

BASEURL = 'http://www.xicidaili.com/' #西刺首页

urls = [BASEURL+ 'nn/',BASEURL+'nt/',BASEURL+'wn/',BASEURL+'wt/']#西刺分组(more)的ip信息链接列表

#请求头信息，必须有User-Agent

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

#proxies = {'https': 'http://123.57.85.224:80', 'http': 'http://123.57.85.224:80'}

#获得与数据库的连接和游标

def get_cc():

# 连接MySQL数据库

connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='root', db='iptables',

charset='utf8', cursorclass=pymysql.cursors.DictCursor)

# 通过cursor创建游标

cursor = connection.cursor()

return connection,cursor

#保存ip_port到数据库

def save_ip_port(ip_port):

connection,cursor = get_cc()

try:

sql = 'insert into iptable(ip_port) values("'+ip_port+'")'

cursor.execute(sql)

except:

print('保存'+ip_port+'失败!!!!!')

else:

connection.commit()

connection.close()

#从数据库获得ip_port

def get_ip_port():

connection,cursor = get_cc()

sql_get_id = 'select id,ip_port from iptable'

cursor.execute(sql_get_id)

#fetchone()是查询一条数据

id_list = cursor.fetchall()#得到所有的id的字典列表

i = random.randint(0,len(id_list)-1)

id_num = id_list[i]['id']

ip_port = id_list[i]['ip_port'] #获得所有可用的代理

return id_num,ip_port#返回id和ip_port：192.168.1.2:8080

#删除被封的ip_port

def del_ip_port(id_num):

connection,cursor = get_cc()

try:

sql = 'delete from iptable where id = ' + str(id_num)

cursor.execute(sql)

except:

print('删除'+ip_port+'失败!!!!!')

else:

connection.commit()

connection.close()

#获得代理

def get_proxies(ip_port):#ip_port = '192.168.2.45:8088'

proxy_ip = 'http://' + ip_port

proxy_ips = 'https://' + ip_port

proxies = {'https': proxy_ips, 'http': proxy_ip}

return proxies

#获得对应url分类的最大页码

def get_max_pagenum(url): #url是more(分类)的链接，/nn,/nt....

response = requests.get(url,headers = headers)

status_code = response.status_code

soup = BeautifulSoup(response.content,'lxml')

max_pagenum = soup.find('div',attrs = {'class':'pagination'}).find_all('a')[-2].string

max_pagenum = int(max_pagenum)

return max_pagenum

#验证代理是否有用,ip_port = '192.168.2.45:8088'

#每得到一个ip_port都要进行验证，如果可用则保存，否则抛弃

def verifyProxyList(ip_port):

url = 'http://www.baidu.com'

# proxies = { "http": "http://"+ ip_port }

host ,port = ip_port.split(':')

try:

# res = requests.get(url,headers = headers,proxies = proxies,timeout = 5.0)

telnetlib.Telnet(host, port=port, timeout=5)

except:

print('---Failur:' + ip_port)

else:

#ips.append(ip_port)#这里应该存储到Redis等数据库中

save_ip_port(ip_port)

def main(url,proxies):#这里是more的链接,/nn/1,/nn/2....

try:

response = requests.get(url,headers = headers,proxies = proxies,timeout = 5.0)

status_code = response.status_code #503说明ip被封

if(status_code != requests.codes.ok):#响应的不是正常状态

#删除旧的代理ip_port,这里还需要验证是否有bug

old_ip_port = proxies['http'][7:]

del_ip_port(old_ip_port)

#修改代理，重新请求

id_num,ip_port = get_ip_port()

proxies = get_proxies(ip_port)

print(str(proxies))

return

soup = BeautifulSoup(response.content,'lxml')

results = soup.find_all('tr')#遍历所有的tr

for result in results[1:]:#这里第一个tr子标签是th，所以会报错

tdlist = result.find_all('td')

ip_port = tdlist[1].string+':'+tdlist[2].string

verifyProxyList(ip_port)

except:

print('请求异常......')

class myThread(threading.Thread):

def __init__(self, threadID, name, url):

threading.Thread.__init__(self)

self.threadID = threadID

self.name = name

self.url = url

def run(self):

print('正在执行线程：'+self.name)#没有验证这一行的可行性

id_num,ip_port = get_ip_port()

proxies = get_proxies(ip_port)

max_pagenum = get_max_pagenum(self.url)

#print(max_pagenum)

for i in range(1,max_pagenum):

url = self.url + '/' + str(i)

main(url,proxies)

#4线程爬取西刺的ip代理池

if __name__ == '__main__':

t1 = myThread(1,"Thread-1",urls[0])

t2 = myThread(2,"Thread-2",urls[1])

t3 = myThread(3,"Thread-3",urls[2])

t4 = myThread(4,"Thread-4",urls[3])

t1.start()

t2.start()

t3.start()

t4.start()

t1.join()

t2.join()

t3.join()

t4.join()

手把手教你使用Python爬取西刺代理数据(下篇)

/1 前言/ 前几天小编发布了手把手教你使用Python爬取西次代理数据(上篇),木有赶上车的小伙伴,可以戳进去看看.今天小编带大家进行网页结构的分析以及网页数据的提取,具体步骤如下. /2 首页分析 ...

Scrapy爬取西刺代理ip流程

西刺代理爬虫 1. 新建项目和爬虫 scrapy startproject daili_ips ...... cd daili_ips/ #爬虫名称和domains scrapy genspider ...

python scrapy 爬取西刺代理ip(一基础篇)(ubuntu环境下) -赖大大

第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrapy框架 具体就自行百度了,主要内容不是在这. 第二步:创建scrapy(简单介绍) 1.Creating a p ...

python+scrapy 爬取西刺代理ip(一)

转自:https://www.cnblogs.com/lyc642983907/p/10739577.html 第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrap ...

python3爬虫-通过requests爬取西刺代理

import requests from fake_useragent import UserAgent from lxml import etree from urllib.parse import ...

爬取西刺ip代理池

好久没更新博客啦~,今天来更新一篇利用爬虫爬取西刺的代理池的小代码 先说下需求,我们都是用python写一段小代码去爬取自己所需要的信息,这是可取的,但是,有一些网站呢,对我们的网络爬虫做了一些限制, ...

爬取西刺网的免费IP

在写爬虫时,经常需要切换IP,所以很有必要自已在数据维护库中维护一个IP池,这样,就可以在需用的时候随机切换IP,我的方法是爬取西刺网的免费IP,存入数据库中,然后在scrapy 工程中加入tools ...

scrapy爬取西刺网站ip

# scrapy爬取西刺网站ip # -*- coding: utf-8 -*- import scrapy from xici.items import XiciItem class Xicispi ...

爬取西刺网代理ip，并把其存放mysql数据库

需求: 获取西刺网代理ip信息,包括ip地址.端口号.ip类型 西刺网:http://www.xicidaili.com/nn/ 那,如何解决这个问题? 分析页面结构和url设计得知: 数据都在本页面 ...

随机推荐

UnitOfWork以及其在ABP中的应用

Unit Of Work(UoW)模式在企业应用架构中被广泛使用,它能够将Domain Model中对象状态的变化收集起来,并在适当的时候在同一数据库连接和事务处理上下文中一次性将对象的变更提交到数据 ...

AT指令(转)

资料来自网络 附录AT指令简编一． 一般命令1．AT+CGMI 给出模块厂商的标识.2．AT+CGMM 获得模块标识.这个命令用来得到支持的频带(GSM 900,DCS 1800 或PCS 1900) ...

python-基础介绍

一.Linux基础 - 计算机以及日后我们开发的程序防止的服务器的简单操作 二.Python开发 http://www.cnblogs.com/wupeiqi/articles/5433893.htm ...

hdu 4272 2012长春赛区网络赛 dfs暴力 ***

总是T,以为要剪枝,后来发现加个map就行了 #include #include #include #in ...

winform学习之----图片控件应用(上一张，下一张)

示例1: int i = 0;        string[] path = Directory.GetFiles(@"C:\Users\Administrator\Desktop\图片&q ...

01-android快速入门

adb Android debug bridge 安卓调试桥 创建模拟器,屏幕尽量小些,启动速度运行速度快 Android项目的目录结构 Activity:应用被打开时显示的界面 src:项目代码 R ...

用C写一个web服务器(二) I/O多路复用之epoll

.container { margin-right: auto; margin-left: auto; padding-left: 15px; padding-right: 15px } .conta ...

Android开发之漫漫长途 Ⅵ——图解Android事件分发机制(深入底层源码)

该文章是一个系列文章,是本人在Android开发的漫漫长途上的一点感想和记录,我会尽量按照先易后难的顺序进行编写该系列.该系列引用了以及

2015最新Android学习线路图

Android是一个以Linux为基础的半开源操作系统,主要用于移动设备,由Google和开放手持设备联盟开发与领导.据2011年初数据显示仅正式上市两年的操作系统Android已经跃居全球最受欢迎的 ...

使用js如何设置、获取盒模型的宽和高

第一种: dom.style.width/height 这种方法只能获取使用内联样式的元素的宽和高. 第二种: dom.currentStyle.width/height 这种方法获取的是浏览器渲染以 ...