使用Beautiful Soup 中遇到的小问题-----只能提取网页上第一页信息_为什么 beautifulsoup 只能爬到第一行链接-CSDN博客

every blog every motto: I’m gonna make him an offer he can’t refuse

前言：
使用Beautiful Soup 遇到的问题小结
环境： python3.7 + window专业版
库： bs4
所需知识： python基础语法、
状态： 本博文已完善。2019.7.27

一、使用Beautiful Soup

相较于正则表达式的繁琐，Beautiful Soup 更加简洁高效，可在使用过程中也遇到了一些小问题。
为了防止IP被封，我一般会先将网页源码保存下来，然后在尝试着匹配，等匹配函数写完后，在一并运行。这样可以降低IP被封的可能。

1. 问题：

我尝试将保存两页网页下来后，每次运行只能提取到 第一页 的信息。经过不断测试，最终发现原因。

2. 测试

2. 1使用Beautiful Soup测试代码如下：

html = """
<html>
<p class="vv">1</p>
<p class="vv">2</p>
</html>
<html>
<p class="vv">3</p>
<p class="vv">4</p>
</html>
"""

# 使用Beautiful Soup 提取
soup = BeautifulSoup(html,'lxml')
b = soup.find_all(attrs={'class':'vv'})
print(b)
print(len(b))

2.2 运行结果：

[<p class="vv">1</p>, <p class="vv">2</p>]
2

2.3 使用Xpath测试代码如下：

html = """
<html>
<p class="vv">1</p>
<p class="vv">2</p>
</html>
<html>
<p class="vv">3</p>
<p class="vv">4</p>
</html>
"""

# 使用xpath 提取
html = etree.HTML(html)
result = html.xpath('//*[@class="vv"]')

for i in result:
    c = etree.tostring(i)
    print(c.decode('utf-8'),end='')

2.5 运行结果如下：

<p class="vv">1</p>
<p class="vv">2</p>
<p class="vv">3</p>
<p class="vv">4</p>

3. 分析

通过以上对比，可以发现，使用xpath提取可以得到想要的结果，使用Beautiful Soup 只能提取前面两个。通过仔细对比网页源码，即html字符串，可以发现，Beautiful Soup 只能提取第一个html标签对的文字。
如果保存网页源码，那么只能提取第一页的信息，也就不难理解了。

参考文献

无