python网络爬虫-使用BeautifulSoup

最新推荐文章于 2024-03-19 20:34:59 发布

perfecttshoot

最新推荐文章于 2024-03-19 20:34:59 发布

阅读量438

点赞数 3

分类专栏： python网络爬虫文章标签： BeautifulSoup 网络爬虫 python

本文链接：https://blog.csdn.net/wanght89/article/details/77979574

版权

python网络爬虫专栏收录该内容

37 篇文章 3 订阅

订阅专栏

在网络爬虫的实战中，使用BeautifulSoup的目的是尝试化平淡为神奇。它通过定位HTML标签来格式化和组织复杂的网络信息，用简单易用的Python对象为我们展现XML结构信息。由于BeautifulSoup库不是Python的标准库，因此需要单独安装。

1. BeautifulSoup安装

在本片博文中，我们使用python3对应的包管理器pip3来安装BeautifulSoap，可以先执行如下指令验证pip3管理器是否正常可用：

pip3 list

若出现如下结果，则表明pip正常

结果显示当前python3上已经安装了pip和setuptools。然后执行下述安装指令：

pip3 install beautifulsoup4

出现如下图所示结果，表示BeautifulSoup安装成功。此时，再次执行pip3 list，结果如下：

2. 导入测试

执行python3指令，进入python3交互界面，导入BeautifulSoup包，结果如下，未出现任何错误，表示导入成功：

3. 使用BeautifulSoup

修改前面的代码，使用下述代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen("http://pythonscraping.com/pages/page1.html")
bsObj=BeautifulSoup(html.read(),"html.parser")
print(bsObj.h1)from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup
def getTitle(url):
    try:
        html=urlopen(url)
    except HTTPError as e:
        return None
    try:
        bsObj=BeautifulSoup(html.read())
        title=bsObj.body.h1
    except AttributeError as e:
        return None
    return title
title=getTitle("http://pythonscraping.com/pages/page1.html")    
if title == None:
    print("Title Could not be found")
else:
    print(title)

输出结果如下

和前面例子一样，我们导入urlopen，然后调用html.read()获取网页的HTML内容。这样就可以把HTML内容传入到BeautifulSoup对象，转换为下面的结构：

html-><html><head>...</head><body>...<body></html>
-head -><head><title>A useful Page</title></head>
    -title-><title>A useful Page</title>
-body  -> <body><h1>An Int...</h1><div>Lorem ip...</div></body>
   -h1-><h1>An Interesting Title</h1>
  -div -><div>Lorem Ipsum dolor..</div>

可以看出，我们从网页上提取的h1标签被嵌在BeautifulSoup对象bsObj结构的第二层（html->body-h1）,但是当我们从对象里提取h1标签的时候，可以直接调用它

bsObj.h1

同样，还可以通过bsObj.html.body.h1,bsObj.body.h1,bsObj.html.h1。这个示例展示了BeautifulSoup的简单易用。其实，任何HTML（或XML）文件的任意节点信息都可以被提取出来，只要目标信息的旁边或附近有标记就行。