python 爬虫入门 练习五 代理ip的获取

最新推荐文章于 2021-04-06 16:29:45 发布
最新推荐文章于 2021-04-06 16:29:45 发布
阅读量265 收藏 2
点赞数
分类专栏： 爬虫 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40831340/article/details/103098208
版权
获得西祠代理

https://www.xicidaili.com/nn/1
任务 获得 代理

遇到的问题

//*[@id=“ip_list”]/tbody/tr[2]/td[2]
chrome 浏览器 直接获得xpath 但是运行后获得是空列表

处理方式

浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。
醉了

import requests
from lxml import etree
from requests import urllib3
import random
import time

text = ''

f = open('tmp.file', 'r')
text = f.read()
f.close()

tree = etree.HTML(text)
print(tree.xpath(f'//*[@id="ip_list"]/'))
# for j in range(2, 101) :
#     # //*[@id="ip_list"]/tbody/tr[2]/td[2]
    
#     print(tree.xpath(f'//*[@id="ip_list"]/tbody/tr[{j}]/td[2]/text()'))
#     print(tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[2]/text()'))
#     http = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[6]/text()')[0]
#     host = tree.xpath(f'//*[@id="ip_list"]/tbody/tr[{j}]/td[2]/text()')
#     port = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[3]/text()')[0]
#     print(f"第 {j - 1} 个 chk {http}: {host}:{port}")
以下完整代码
import requests
from lxml import etree
from requests import urllib3
import random
import time


user_agent = [
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
		'Opera/8.0 (Windows NT 5.1; U; en)',
		'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
		'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
		'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
		'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
		'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
		'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)'
]


def get_header_xc(urls, i) :
    headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Connection': 'keep-alive',
            'Referer': urls.format(i if i > 0 else ''),
            'User-Agent': random.choice(user_agent)
        }
    return headers


def get_header_adnmb() :
    headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Connection': 'keep-alive',
            'User-Agent': random.choice(user_agent)
        }
    return headers


def get_proxy():
    with open('ips_pool.csv', 'r') as f:
        datas = f.readlines()
    tmp = random.choice(datas)
    ip = tmp.strip().split(',')
    proxies = {ip[0]: ip[1] + ':' + ip[2]}
    return proxies

def check_porxy(http, host, port) :
    url = 'https://adnmb2.com/Forum'
    proxy = {http: host + ':' + port}
    try :
        respond = requests.get(url, headers=get_header_adnmb(), proxies=proxy, timeout=3)
        if(respond.status_code == 200) : return True
        else : return False
    except Exception as e:
        print(e)
        return False


def check_local_ip(fn, test_url) :
    with open(fn, 'r') as f:
        datas = f.readlines()
        ip_pools = []
    for data in datas:
        # time.sleep(1)
        ip_msg = data.strip().split(',')
        http = ip_msg[0]
        host = ip_msg[1]
        port = ip_msg[2]
        proxies = {http: host + ':' + port}
        try:
            res = requests.get(test_url, proxies=proxies, timeout=2)
            if res.status_code == 200:
                ip_pools.append(data)
                print(f'{proxies}检测通过')
                with open('ips_pool.csv', 'a+') as f:
                    f.write(','.join([http, host, port]) + '\n')
        except Exception as e:
            print(e)
            continue


def get_ip(page_sum=3000, max_try = 3) :
    s = requests.session()
    s.trust_env = None
    s.verify = None
    base_url = 'https://www.xicidaili.com/nn/{}'
    proxy = get_proxy()
    cnt = 0
    for i in range(1, page_sum + 1) :
        urls = base_url.format(i)
        s.headers = get_header_xc(urls, i - 1)
        try_cnt = 0

        while True :
            content = s.get(urls, headers = s.headers, proxies=proxy, timeout = random.uniform(3.0, 4.5))
            time.sleep(random.uniform(1.5, 2))
            if(content.status_code == 503) :
                proxy = get_proxy()
                try_cnt = try_cnt + 1
                if(try_cnt > max_try) : 
                    print(f'{try_cnt} > max_try {max_try} 跳过')
                    break
                print(f'第{try_cnt}改变: {proxy}')
                continue
            else : break

        # print(content.text)

        print(f'第 {i} / {page_sum} page页')
        tree = etree.HTML(content.text)
        for j in range(2, 102) :
            http = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[6]/text()')[0]
            host = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[2]/text()')[0]
            port = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[3]/text()')[0]
            print(f"第 {i} 页 {j - 2} 个 chk {http}: {host}:{port}")
            if(check_porxy(http, host, port)) :
                f = open('ips_pool.csv', 'a+')
                f.write(','.join([http, host, port]) + '\n')
                f.close()
                cnt = cnt + 1
                print(f"get 现有{cnt}")


if __name__ == '__main__' :
    get_ip()
    # check_local_ip('ips_pool.csv', 'https://adnmb2.com/Forum')
ZHXU1998
关注
专栏目录
python爬虫——lxml的使用
过气久远的博客
02-26 985
为了更好的学习scrapy库，我决定先其前驱内容lxml库 此次我们爬取豆瓣电影Top250 代码如下： import requests from lxml import etree import time import csv headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/53...
Python爬虫入门教程（非常详细）_python爬虫自学
最新发布
04-27 1447
设k值为3，即每抓取3个页面后，重新计算一次PageRank值。
Python爬虫练习：代理ip池
小杜小杜
07-10 235
Python爬取代理ip构建代理ip池 说着写西刺代理的爬虫结果西刺直接关站了= = ，另外找了一个代理ip网站练手，只爬取了前两页避免疯狂爬取再导致个关站，另外可能由于网络的原因，访问网站验证ip的可用性存在问题，也可能是代码的问题，目前尚未解决，只好先把ip爬取下来写进csv，之后解决验证问题后再写验证后的代理ip池。 import requests import re from bs4 import BeautifulSoup import time import csv def getHTML(u
爬虫实战代码(Requests+Xpath)
weixin_44826456的博客
07-11 537
import requests from lxml import etree import time import json def get_one_page(url): try: headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ...
爬虫实战代码
qq_45760401的博客
04-06 427
一、腾讯课堂 import requests from lxml import etree import re import time def get_main_web(): url = r'http://www.qq.com/' headers = { # 用的是自己的 User-Agent，此处省略 } res = requests.get(url, headers = head...
lxml安装_Python爬虫基础教程——lxml爬虫入门
weixin_39525812的博客
11-20 187
点击上方蓝色文字关注我们吧有你想要的精彩作者| 東不归出品 | Python知识学堂大家好，上次介绍了BeautifulSoup爬虫入门,本篇内容是介绍lxml模块相关教程，主要为Xpath与lxml.cssselect 的基本使用。lxml介绍引用官方的解释：lxml XML工具箱是C库libxml2和libxslt的Python绑定 。它的独特之处在于它将这些库的速度和XML功能的...
python爬虫 入门 基础 100道题
12-14
本教程“Python爬虫 入门 基础 100道题”旨在帮助初学者掌握Python爬虫的基础知识，通过一系列练习题来加深理解。 一、Python爬虫基础 1. Python环境搭建：首先需要安装Python解释器，如Python 3.x，以及集成开发...
python爬虫教程从入门到精通
08-16
以上就是根据“Python爬虫教程从入门到精通”的标题、描述及部分内容生成的相关知识点概览。本教程旨在全面覆盖从基础知识到实战项目的各个环节，帮助学员系统地学习Python爬虫技术，为成为高级爬虫工程师打下坚实的...
python爬虫入门实战案例教程-入门到精通（收藏版）
07-09
Python爬虫是编程领域中一个热门且实用的技能，它主要应用于数据挖掘、数据分析和自动化信息获取。本教程是为初学者设计的，旨在帮助读者从零基础开始，逐步掌握Python爬虫的基本概念、技术和实战应用。以下是本教程...
python爬虫课件+代码.zip
07-25
在学习Python爬虫的过程中，你还将了解到反爬策略及应对方法，比如IP代理池、User-Agent轮换、验证码识别等。同时，合法和道德的爬虫原则也很重要，尊重网站的robots.txt文件，避免对服务器造成过大压力，遵守相关...
Python爬虫基础教程——lxml爬取入门
th1522856954的博客
03-11 2040
大家好，上次介绍了BeautifulSoup爬虫入门,本篇内容是介绍lxml模块相关教程，主要为Xpath与lxml.cssselect 的基本使用。 一、lxml介绍 引用官方的解释： lxml XML工具箱是C库libxml2和libxslt的Python绑定 。它的独特之处在于它将这些库的速度和XML功能的完整性与本机Python API的简单性结合在一起，该Python API大多数都兼容，但优于著名的 ElementTree API。 lxml.etree是一个非常快速的XML库。这主要..
python 提取网页数据的通用代码_第一章 Python使用xslt提取网页数据
weixin_42398050的博客
03-01 310
2.用lxml库实现网页内容提取lxml是python的一个库，可以迅速、灵活地处理 XML。它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT)，并且实现了常见的 ElementTree API。这2天测试了在python中通过xslt来提取网页内容，记录如下：2.1.抓取目标假设...
from lxml import etree报错
热门推荐
不写代码的博客
06-10 3万+
写一个小型的爬虫懒得用scrapy(主要是scrapy不太好装…)，直接使用了requests请求，但是要解析数据，那么问题来了 问题1： 使用的是python3.7的环境，解析数据要用xpath，系统是mac pip install lxml 一分钟后。。。下载成功 开始写代码， from lxml import etree 挂了…，lxml中竟然没有etree模块 换个方法 ...
Python导入 from lxml import etree 导入不了
KiGang的博客
05-30 2万+
问题 在学爬虫，Python 版本是2.7，安装的lxml包是4.3的，在 from lxml import etree 时发现一直报错，网上查询，原来是Python版本和lxml包版本不一致导致的。 解决办法 python2.7 用的是lxml-3.8.0-cp27-cp27m-win_amd64.whl python3.6 用的是lxml-4.0.0-cp36-cp36m-win_amd64...
python爬取知乎发现文件存储[txt，json，csv，mongodb]
人生苦短， 还不用Python？
08-15 385
使用XPath import requests import json from lxml import etree from urllib import parse ''' 遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！ ''' url = 'https://www.zhihu.com/explore' headers = { ...
python爬虫学习笔记-网络爬虫的三种数据解析方式
weixin_30852367的博客
04-28 506
爬虫的分类 1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。 　　　　搜索引擎如何抓取互联网上的网站数据？ ...
from lxml import etree 遇到的提取问题
木下瞳的博客
07-14 8032
了解更多关注微信公众号“木下学Python”吧~ 目录 爬取结构 url_info.xpath('string(.)').strip()： url_info.xpath('//*[@id="info"]/text()[2]'): url_info.xpath('//h1[@class="title"]/text()')： 当 url_info.xpath('') 路径没问题的时候...
python import re_彻底搞懂Python 中的 import 与 from import
weixin_39736547的博客
11-24 1035
对不少 Python 初学者来说，Python 导入其他模块的方式让他们很难理解。什么时候用import xxx？什么时候用from xxx import yyy？什么时候用from xxx.yyy import zzz？什么时候用from xxx import *？这篇文章，我们来彻底搞懂这个问题。系统自带的模块以正则表达式模块为例，我们经常这样写代码：import retarget = 'ab...
python爬虫入门 练习二 静态页面图片爬 (adnmb)
蒟蒻的最后的倔强
11-10 1894
与前文差不多 1.前置知识 html一些知识 python基本语法 简单的一些爬虫库api调用 2.所用到的包 requests bs4 import BeautifulSoup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库(可以理解为 一个处理文本工具吧) os sys https://cn.python-requests.org/zh_CN/l...
Python爬虫入门：掌握五大核心技能
Python爬虫是一种利用Python编程语言实现的自动化程序，它的主要任务是通过模拟用户在网络上的行为，自动抓取和处理互联网上的信息。这种技术在数据挖掘、市场分析、新闻监测、竞争情报等领域有着广泛的应用。Python...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值