为什么BeautifulSoup .children包含无名元素如换行符\n

最新推荐文章于 2024-03-30 04:23:21 发布

章九章

最新推荐文章于 2024-03-30 04:23:21 发布

阅读量544

点赞数

分类专栏： Python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/suanfajiegou/article/details/119685996

版权

Python 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

发现问题

有如下实例代码：

#!/usr/bin/env python3
from bs4 import BeautifulSoup

test="""<!DOCTYPE html>
<html>
<head>
 <meta content="text/html; charset=UTF-8" http-equiv="Content-Type"/>
 <title>Test</title>
</head>
<body>
<table>
<tbody>
<tr>
 <td>
  <div>
   <b>
    Icon
   </b>
  </div>
 </td>
</tr>
</tbody>
</table>
</body>
</html>"""

soup = BeautifulSoup(test, 'html.parser')
rows = soup.findAll('tr')
for r in rows:
    print(r.name)
    for c in r.children:
        print('>', c.name)

有如下输出：

tr
> None
> td
> None

我们观察到出现了原HTML文档中不存在的元素，这是什么原因呢？

分析原因

这是因为.children 可以是NavigableStrings也可以是Tag类型，在我的例子中，他是tr标签前后的空白。
设计实验如下：

rows = soup.find_all('tr')
for r in rows:
   print("row:", r.name)
   for c in r.children:
       print('----')
       print(type(c))
       print(repr(c))

会有如下输出：

row: tr
----
<class 'bs4.element.NavigableString'>
'\n'
----
<class 'bs4.element.Tag'>
<td>
<div>
<b>
    Icon
   </b>
</div>
</td>
----
<class 'bs4.element.NavigableString'>
'\n'

解决办法：

加一个判断，使其类型为想要的类型就好了：

soup = BeautifulSoup(test2, 'html.parser')
rows = soup.find_all('tr')
for r in rows:
   print("row:", r.name)
   for c in r.children:
       if isinstance(c, bs4.element.Tag):
           print('>', c.name)

输出结果如下：

row: tr
> td

章九章

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
为什么BeautifulSoup .children包含无名元素如换行符\n

发现问题有如下实例代码：#!/usr/bin/env python3from bs4 import BeautifulSouptest="""<!DOCTYPE html><html><head> <meta content="text/html; charset=UTF-8" http-equiv="Content-Type"/> <title>Test</title></head><body&
复制链接

扫一扫

专栏目录