如何解析复杂页面IP地址？

最新推荐文章于 2021-11-17 18:54:27 发布
最新推荐文章于 2021-11-17 18:54:27 发布
阅读量121 收藏
点赞数
原文链接：http://www.cnblogs.com/liangliangzz/p/10172241.html
版权 
import re

import lxml.html

test_data = """
<head><style>
.HRAR{display:none}
.QMMO{display:none}
.DYWL{display:inline}
.KZGR{display:inline}
</style></head>
<body>抓取下面10个ip地址<br>
<span style="display:none">128</span>
<div style="display:none">54</div>
<span style="display:none">38</span>
<span class="QMMO">220</span>
<span style="display:none">.</span>
<span class="QMMO">107</span>
12
<span style="display:none">.</span>
<div style="display:none">99</div>
<span style="display:none">75</span>
<div style="display:none">.</div>
<span style="display:none">79</span>
<span class="QMMO">.</span>
<span style="display:none">.</span>
.
<span style="display:inline">82</span>
<div style="display:none">196</div>
<span style="display:inline">.</span>
<span style="display:none">74</span>
<span class="QMMO">179</span>
141
<span style="display:none">.</span>
.
<span style="display:none">.</span>
<span style="display:none">180</span>
<div style="display:none">162</div>
<span class="NUMH">45</span>
<br>
<div style="display:none">196</div>
<span class="HRAR">.</span>
<div style="display:none">119</div>
<div style="display:none">157</div>
<span class="QMMO">188</span>
<span class="HRAR">222</span>
<span class="HRAR">.</span>
<span class="QMMO">37</span>
<div style="display:none">.</div>
<span class="NUMH">165</span>
<span style="display:none">25</span>
<span class="HRAR">79</span>
<div style="display:none">154</div>
<span style="display:none">.</span>
<div style="display:none">11</div>
<span class="HRAR">61</span>
.
<span class="EIQR">239</span>
<div style="display:none">102</div>
<span style="display:none">.</span>
<span style="display:none">.</span>
<div style="display:none">41</div>
<div style="display:none">193</div>
<span style="display:inline">.</span>
233
.
110
<br>
<span class="QMMO">.</span>
<span style="display:none">3</span>
<span style="display:none">.</span>
140
<span class="QMMO">127</span>
.
<span style="display:none">.</span>
<div style="display:none">202</div>
<span class="DYWL">7</span>
<span style="display:none">148</span>
<span class="HRAR">219</span>
<div style="display:none">.</div>
<span class="QMMO">.</span>
<div style="display:none">.</div>
<div style="display:none">.</div>
<div style="display:none">136</div>
<span class="QMMO">230</span>
<div style="display:none">183</div>
.
<span style="display:none">242</span>
<span style="display:none">.</span>
<span class="QMMO">57</span>
<span style="display:none">.</span>
<span style="display:none">.</span>
<span style="display:inline">190</span>
<span class="EIQR">.</span>
5
<br>
<div style="display:none">.</div>
<span class="HRAR">250</span>
<div style="display:none">179</div>
<div style="display:none">106</div>
<span style="display:none">18</span>
<span class="YMXL">151</span>
<span style="display:none">.</span>
<div style="display:none">73</div>
<span class="HRAR">91</span>
<span class="DYWL">.</span>
<span class="HRAR">201</span>
<span style="display:none">.</span>
<span class="QMMO">.</span>
<span style="display:none">.</span>
<div style="display:none">86</div>
<span style="display:inline">39</span>
<span style="display:none">.</span>
<span style="display:none">.</span>
<span class="HRAR">85</span>
<span class="QMMO">215</span>
<span class="QMMO">.</span>
<span class="HRAR">232</span>
<span class="YMXL">.</span>
<div style="display:none">234</div>
<span style="display:inline">243</span>
<span style="display:inline">.</span>
<span style="display:inline">210</span>
<br>
<span style="display:none">.</span>
<span class="HRAR">.</span>
<span class="QMMO">185</span>
<div style="display:none">119</div>
<span class="HRAR">51</span>
<span class="HRAR">90</span>
<span class="QMMO">229</span>
<span class="BOZY">64</span>
<span style="display:none">256</span>
<span class="HRAR">.</span>
<span class="HRAR">207</span>
<span class="HRAR">99</span>
<span style="display:none">177</span>
<span class="HRAR">161</span>
<div style="display:none">55</div>
<span style="display:none">.</span>
<span class="HRAR">252</span>
<div style="display:none">.</div>
<div style="display:none">106</div>
<span class="HRAR">189</span>
<span class="HRAR">12</span>
.
96
.
<span class="GNTR">36</span>
<span style="display:inline">.</span>
<span class="GNTR">50</span>
<br>
<span style="display:none">211</span>
52
<span style="display:none">158</span>
<span class="HRAR">.</span>
<span class="HRAR">167</span>
<span style="display:none">209</span>
<span style="display:none">57</span>
<span class="HRAR">24</span>
<span style="display:none">.</span>
<span class="QMMO">143</span>
.
<span style="display:none">57</span>
<div style="display:none">.</div>
<span class="HRAR">23</span>
<div style="display:none">.</div>
156
<span style="display:none">29</span>
<span class="GNTR">.</span>
<div style="display:none">80</div>
<span class="QMMO">.</span>
<span style="display:inline">142</span>
<span class="HRAR">.</span>
<div style="display:none">.</div>
<span class="HRAR">248</span>
<span style="display:none">.</span>
.
<span class="DYWL">254</span>
<br>
<span style="display:none">.</span>
<span style="display:none">26</span>
<div style="display:none">164</div>
<div style="display:none">.</div>
<span style="display:none">.</span>
<div style="display:none">102</div>
<span style="display:none">.</span>
<span style="display:none">96</span>
<span class="QGZL">153</span>
<span class="HRAR">229</span>
<span class="QMMO">85</span>
<span style="display:none">130</span>
<div style="display:none">114</div>
.
<span style="display:inline">4</span>
<span style="display:inline">.</span>
<span class="YMXL">162</span>
<span style="display:none">.</span>
<span class="HRAR">232</span>
<div style="display:none">226</div>
<span class="QMMO">.</span>
<span class="HRAR">.</span>
<span style="display:none">142</span>
<div style="display:none">46</div>
.
52
<span class="HRAR">203</span>
<br>
<span style="display:none">.</span>
<span class="QMMO">33</span>
<div style="display:none">29</div>
232
<span class="QMMO">.</span>
<div style="display:none">85</div>
<span class="QMMO">69</span>
<span style="display:none">245</span>
<span class="HRAR">.</span>
<div style="display:none">169</div>
<span style="display:none">199</span>
<span class="HRAR">23</span>
<span style="display:none">.</span>
<span class="QMMO">.</span>
<div style="display:none">88</div>
<span style="display:none">10</span>
<span class="QGZL">.</span>
<span class="QMMO">.</span>
<div style="display:none">.</div>
<div style="display:none">.</div>
<div style="display:none">240</div>
<span style="display:none">245</span>
<span class="YMXL">10</span>
.
<span style="display:inline">72</span>
<span class="BOZY">.</span>
<span class="KZGR">169</span>
<br>
<div style="display:none">206</div>
<div style="display:none">239</div>
<span class="HRAR">218</span>
<div style="display:none">97</div>
<span class="HRAR">106</span>
<span class="QMMO">.</span>
<span class="QMMO">140</span>
<span style="display:none">144</span>
<span class="HRAR">126</span>
<div style="display:none">.</div>
127
<div style="display:none">.</div>
<span style="display:none">120</span>
<span style="display:none">209</span>
<span class="BOZY">.</span>
<span style="display:none">179</span>
<span class="HRAR">.</span>
<span style="display:inline">3</span>
<div style="display:none">.</div>
<span class="QMMO">198</span>
<div style="display:none">169</div>
<span style="display:none">.</span>
<span style="display:none">37</span>
<span class="EIQR">.</span>
<span style="display:inline">31</span>
<span style="display:inline">.</span>
61
<br>
<div style="display:none">37</div>
76
<span style="display:none">94</span>
<span style="display:none">.</span>
.
<span class="HRAR">109</span>
<span style="display:inline">17</span>
<div style="display:none">.</div>
<span class="HRAR">232</span>
<span class="HRAR">247</span>
<span class="HRAR">136</span>
<span class="HRAR">67</span>
<span class="HRAR">49</span>
<div style="display:none">194</div>
<span class="QGZL">.</span>
<span class="QMMO">159</span>
<span class="QMMO">.</span>
<div style="display:none">81</div>
<span style="display:inline">39</span>
<span style="display:none">29</span>
<span style="display:inline">.</span>
<span style="display:none">202</span>
30
<div style="display:none">89</div>
<span class="HRAR">242</span>
<span style="display:none">138</span>
<span class="HRAR">62</span><body>

        """
'''
/ 从根标签开始
// 从当前标签开始 后续节点含有即可选出
*通配符选择所有
//div/book[1]/title 选择div 下第一个book标签的title元素
//div/book/title[@lang="zh"]选择title属性含有lang且内容zh的title元素
//div/book/title  //book/title //title具有相同的結果，因为使用相対路径最終都指向title
//book/title/@* 将title所有属性值选择出来
//book/title/text() 将title的内容选择出来，使用内置text函数
//a[@href="link1.html" and @id="places_neighbours_row"
//div/book[last()]/title/text()#将最后一个book元素选出来
//div/book[price>39]/title/text()
//li[starts-with(@class,'item')]/a/text()
'''

#解析
def analysis_content(test_data):
    """
    解析文件,得到ip
    :param result:
    :return:
    re 模块的一般使用步骤如下：
    使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象
    通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。
    最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

Pattern 对象的一些常用方法主要有：
    match 方法：从起始位置开始查找，一次匹配
    search 方法：从任何位置开始查找，一次匹配
    findall 方法：全部匹配，返回列表
    finditer 方法：全部匹配，返回迭代器
    split 方法：分割字符串，返回列表
    sub 方法：替换
    """
    pattern = re.compile(r'\.([A-Z]+){display:none}')#匹配大写字母，([A-Z]+)组
    class_none_list = pattern.findall(test_data)#全部匹配，返回列表
    # print(class_none_list)#['HRAR', 'QMMO']{display:none}
    pattern_div = re.compile('<div\s.*')
    t = pattern_div.sub("", test_data)
    pattern_span_none = re.compile('<span\sstyle="display:none">.*?</span>')
    t1 = pattern_span_none.sub("", t)
    pattern_class_none1 = re.compile('<span\sclass="' + class_none_list[0] + '">.*</span>')
    t2 = pattern_class_none1.sub("", t1)
    pattern_class_none2 = re.compile('<span\sclass="' + class_none_list[1] + '">.*</span>')
    t3 = pattern_class_none2.sub("", t2)
    html = lxml.html.fromstring(t3.replace("\n", ""))
    html_data = html.xpath('//body/descendant-or-self::text()')
    tt = ""
    lt = []
    for i in html_data[1:]:
        if tt.count('.') == 3 and tt[-1] != '.':
            lt.append(tt)
            tt = ""
        tt = tt + i
    lt.append(tt)
    print(lt)#打印IP
    print(len(lt))#打印列表长度


analysis_content(test_data)
输出结果：['12.82.141.45', '165.239.233.110', '140.7.190.5', '151.39.243.210', '64.96.36.50', '52.156.142.254', '153.4.162.52', '232.10.72.169', '127.3.31.61', '76.17.39.30        ']
10

 

转载于:https://www.cnblogs.com/liangliangzz/p/10172241.html

weixin_30443895
关注
DNS域名解析详解
weixin_43473780的博客
03-24 2120
文章目录DNS域名解析详解域名DNS服务器区域数据库文件Bind的安装和配置正反解析区域的配置流程主从服务器搭建子域授权bind中的安全相关配置文末，再简单用一句话理解下DNS服务器中，递归查询和迭代查询 DNS域名解析详解 在我们日常浏览网页中，DNS解析是不可缺少的一环，用户在浏览器输入一个网址，计算机会将该地址解析成为ip地址，而后根据ip地址寻找到对应的服务器，请求服务！ 那么，将网址转换...
服务器上登录网页ip地址,如何在服务器上做iP地址跳转
weixin_39857174的博客
08-09 1811
如何在服务器上做iP地址跳转 内容精选换一换当网站没有接入到WAF前，DNS直接解析到源站的IP。网站接入WAF后，需要把DNS解析到WAF的CNAME，这样流量才会先经过WAF，WAF再将流量转到源站，实现网站流量检测和攻击拦截。本文介绍通过DNS配置模式接入WAF时，如何在已添加网站配置后，配置域名解析，实现业务接入。已有网站域名。已购买WAF。已将网站信息(源站服务器的IP、零系统：ubun...
DNS解析
qq_44870887的博客
07-12 897
笑洋仟 博客园首页新随笔联系订阅管理 随笔 - 51 文章 - 0 评论 - 0 阅读 -2177 DNS域名解析服务（二）——配置主从域名服务器和分离解析 阅读目录(Content) 一、配置主从DNS服务器 1、配置主从DNS服务器的步骤 1.1修改主域名服务器的区域配置文件，修改正、反向区域配置 1.2.修改从服务器的主配置文件 1.3、.修改从服务器的区域配置文件，添加正反区域配置 1.4.主从服务器都需要关闭防火墙...
Ip地址详解
解不开的未知数
03-12 1196
&lt;H3C&gt; 用户视图[H3C] 配置视图（系统视图）   system-view 提示：Shift+？命令补全：TAB命令支持简写查看命令：display  ?修改设备名称：sysname  进入到配置视图修改返回到上级视图  quit保存命令：save +Y 查看接口状态信息：         display interface brief /display brief interf...
2020-07-14
qq_49357069的博客
07-14 8383
错误代码： -1616 详细原因： ERR_VIVO_DNS_HTTP_RETURN_EMPTY 失败网址： http://www.jpmajiang.com/app.html 网络信息： WIFI状态： 已开启 接入点名称： H3C_A8CB40 网络信号强度： 强 资源获取类型： 服务器获取 网络出口ip地址： 115.56.37.98 代理信息： 代理状态： 已开启 代理类型： mixed DNS解析： 解析得到的IP地址： None 咨询一下，哪位老大帮忙给做一个。做个可行的发来。急用，谢谢各位大神
解析IP地址
qq_42833469的博客
11-17 5232
背景 　　互联网上分布着很多设备，如电脑、手机、智能手表等。设备与设备之间会互相通信，如你给朋友发送一条微信语音信息，其实就是你的手机在与朋友的手机进行通信。 　　但是，这条信息为什么会准确到达你朋友的手机，而不是其他设备？这是因为网络上的每台设备都有一个唯一的网络地址。如果把网络信息看作日常生活中的信件，网络地址就是信件上的收件人地址，有了这个地址，信息就能准确到达网络上的某一设备。 　　网络地址有不同类型，如 MAC 地址、IP 地址、URL 等，本关针对的是 IP 地址。IP 地址目前主要有两个版本：
ASP技术常遇问题解答-如何获得对方机器的名称和IP地址？.zip
03-23
这段代码会打印出访问页面的客户端的IP地址。 然而，获取机器名称就稍微复杂一些，因为HTTP协议本身并不直接提供这个信息。我们可以通过IP地址反向解析来获取，但这需要DNS服务的支持。在ASP中，可以使用WScript....
电脑如何设置不同网段的IP地址，实现访问不同IP的PLC或HMI设备？.docx
最新发布
11-05
同时，了解基础的网络协议如TCP/IP、ARP（地址解析协议）和DNS（域名系统）也是必要的，因为它们在多IP地址访问过程中起到关键作用。例如，ARP用于确定IP地址对应的MAC物理地址，而DNS则用于将域名转换为IP地址，...
JS简单获取客户端IP地址的方法【调用搜狐接口】
10-21
我们可以通过在HTML页面中引入这个接口，然后解析返回的JSON数据来获取IP地址。 下面是一个简单的HTML页面示例，展示了如何使用这个接口： ```html <!doctype html> 使用搜狐接口获取客户端IP地址 ...
DNS.rar_dns _dns解析_域名ip
09-22
在我们的日常网络活动中，无论是浏览网页、发送邮件还是进行在线购物，DNS都在幕后默默地工作，使得我们无需记住复杂的IP地址就能访问所需的网站。 DNS系统由全球分布式的一系列服务器组成，这些服务器按照层次结构...
ip地址解析库
11-11
里面放的是我解析IP地址调用的库，使用这个库直接可以根据IP地址查看对应的城市信息
python 解析域名_Python实现通过解析域名获取ip地址的方法分析
weixin_39842029的博客
12-11 1108
本文实例讲述了Python实现通过解析域名获取ip地址的方法。分享给大家供大家参考，具体如下：从网上查找的一些资料，特此做个笔记案例1：def getIP(domain):myaddr = socket.getaddrinfo(domain, 'http')print(myaddr[0][4][0])执行函数getIP("www.google.com")案例2：def get_ip_list(do...
python通过域名获取解析的ip地址
热门推荐
李常明运维之路
07-12 2万+
从网上查找的一些资料，特此做个笔记 案例1： def getIP(domain): myaddr = socket.getaddrinfo(domain, 'http') print(myaddr[0][4][0]) 执行函数 getIP(“www.google.com”) 案例2： def get_ip_list(domain): # 获取域名解析出的IP列表 ...
『中级篇』容器网络之host和none（29）
IT架构圈博客
07-22 303
前几节主要说的bridge network，在实际中bridge确实运用比较广泛，之前通过docker network ls 里面不光有bridge，还有host 和none，这次就说说这2个 查看network ls里面的网络类型 sudo docker network ls #删除之前自定义的bridage sudo docker network rm mybridge s...
根据主机名获得IP及根据IP获得主机名
sangchengjiang的专栏
12-13 1065
根据主机名获得IP好说，前面已经学习过了，用函数gethostbyname获得主机信息，其中包括IP信息int CNeighborDlg::getIPByName(){UpdateData(TRUE);            //接收数据hostent *hostinfo;hostinfo = gethostbyname(   m_hostname);if(hostinfo != NULL){
DNS域名解析
一只青木呀
04-18 366
Linux中通过域名获取IP的方式1、原理2、代码实现3、测试 1、原理 我在在通过域名解析获取IP的过程中一般使用的是DNS域名解析。 DNS协议是一种应用层协议，他是基于UDP来实现的。 2、代码实现 #include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <string.h> #include <errno.h> #include <sys/socket.
python获取小王的ip地址_Python实现通过解析域名获取ip地址的方法分析
weixin_39719727的博客
02-11 160
本文实例讲述了Python实现通过解析域名获取ip地址的方法。分享给大家供大家参考，具体如下：从网上查找的一些资料，特此做个笔记案例1：def getIP(domain):myaddr = socket.getaddrinfo(domain, 'http')print(myaddr[0][4][0])执行函数getIP("www.google.com")案例2：def get_ip_list(do...
视频真实地址解析技巧与工具介绍
通过对视频内容的解析，用户可以直接获取到原始的视频文件地址，而无需通过任何中间页面或者客户端。 在IT行业中，视频真实地址解析技术的实现一般涉及到以下几个重要的知识点： 1. 流媒体协议理解：视频内容的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值