使用python结合各种工具包对网页信息进行爬取,使用起来非常方便
# -*- coding: utf-8 -*-
"""
Created on Mon Apr 6 15:29:40 2020
@author: lujia
"""
# 爬取ip代理,构建ip代理池
# requests
# parsel
import requests # pip install requests
import parsel
import time
import random
import pandas as pd
proxies_list = []
for page in range(1,3):
time.sleep(random.random()*5) # 防连续爬取机制,所以要加随机延迟
print('正在获取第{}页的数据'.format(page))
# 爬虫的一般思路
# 1、分析目标网页,确定爬取的url路径,headers参数
base_url = 'https://www.kuaidaili.com/free/inha/{}/'.format(str(page))
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
# 2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
response = requests.get(base_url, headers = headers)
#print(response.request.headers)
data = response.text
#print(data)
#ip格式 {"协议格式":"ip:端口"}
# 3、解析数据 -- parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理
# 转换数据类型
html_data = parsel.Selector(data)
# 数据解析
parsel_list = html_data.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')
# 循环遍历
for tr in parsel_list:
dict_proxies = {}
http_type = tr.xpath('./td[4]/text()').extract_first() # 协议类型
ip_num = tr.xpath('./td[1]/text()').extract_first() # 协议类型
ip_port = tr.xpath('./td[2]/text()').extract_first() # 协议类型
# 构建ip字典
dict_proxies['type'] = http_type
dict_proxies['IP'] = ip_num
dict_proxies['PORT'] = ip_port
proxies_list.append(dict_proxies)
#print(http_type,ip_num,ip_port)
print('最终获取的数据: ',proxies_list)
print('获取到的ip代理数量: ', len(proxies_list))
# 4、保存数据
filename = '1.xlsx'
print('正在导出excel文件:',filename)
df = pd.DataFrame(proxies_list)
df.to_excel(filename, index=False)
print('导出完毕!')