20190724-Python网络数据采集/第 2 章复杂HTML解析-导航树/正则表达式

最新推荐文章于 2022-09-19 00:22:15 发布

weixin_30737433

最新推荐文章于 2022-09-19 00:22:15 发布

阅读量120

点赞数

文章标签： python

原文链接：http://www.cnblogs.com/ElonJiang/p/11235628.html

版权

1. 导航树

经典的HTML树状结构

直接看下面的代码示例：（注意目标网页的标签大小写等细节，易出bug）

 1 from urllib.request import urlopen
 2 from bs4 import BeautifulSoup
 3 
 4 html = urlopen("http://www.pythonscraping.com/pages/page3.html")
 5 bsobj = BeautifulSoup(html)
 6 
 7 print(bsobj)
 8 
 9 # 打印giftlist表格中所有产品的数据行，注意代码中标签的大小写格式
10 for child in bsobj.find("table", {"id":"giftList"}).children:
11 
12 # 打印所有的后代标签
13 for child in bsobj.find("table", {"id":"giftList"}).descendants:
14     print(child)
15 
16 # 处理兄弟标签，可以选择表格中除标题（标签本身）外的所有行，或者所有兄弟标签
17 for sibling in bsobj.find("table",{"id":"giftList"}).tr.next_siblings:
18     print(sibling)

1 # 处理父标签,
2 # 1)选择图片标签src=".../";
3 # 2)选择图片标签的父标签（在示例中是<td>标签）;
4 # 3)选择<td>标签的前一个兄弟标签previous_sibling(在示例中是包含美元价格的<td>标签)；
5 # 4)选择标签中的文字，“$15.00”.
6 print(bsobj.find("img",{"src":".../img/gifts/img1.jpg"
7                          }).parent.previous_sibing.get_text())

核心知识点，4个函数：

.children，处理子标签；

.descendants，处理后代标签；

.next_siblings，处理兄弟标签，尤其适用于处理表格，可以通过该函数选择表格中除标题行外的所有行。（1.对象不能把自己作为兄弟标签；2.该函数只调用后面的兄弟标签）

.parent，处理父标签，应用相对较少。

2. 正则表达式

正则表达式，识别 正则字符串。上手快，记住/懂常用规则/勤查文档即可，运行很快，比如在要求快速浏览大文档查，以查找像电话号码或者邮箱地址等类似的字符串时，非常方便。

3. 正则表达式和BeautifulSoup

写正则表达式前，先写一个步骤列表描述出目标字符串结构。
正则表达式可以作为BeautifulSoup语句的任意一个参数。

 1 from urllib.request import urlopen
 2 from bs4 import BeautifulSoup
 3 import re
 4 
 5 html = urlopen("http://www.pythonscraping.com/pages/page3.html")
 6 bsobj = BeautifulSoup(html,"lxml")
 7 
 8 # 源网页图片路径代码 <img src="../img/gifts/img1.jpg">
 9 images = bsobj.findAll("img",{"src":re.compile("\.\.\/img\/gifts/img.*\.jpg")})
10 for image in images:
11     print(image["src"])

打印结果：