【Beautiful Soup库】{0} ——Beautiful Soup库的简介

最新推荐文章于 2024-04-20 18:29:21 发布

Giyn

最新推荐文章于 2024-04-20 18:29:21 发布

阅读量303

点赞数 4

分类专栏：【Python爬虫知识】文章标签： python

本文链接：https://blog.csdn.net/weixin_45961774/article/details/104726829

版权

【Python爬虫知识】专栏收录该内容

19 篇文章 5 订阅

订阅专栏

首先我们安装一下 Beautiful Soup库：

以管理员身份运行命令提示符，输入pip install beautifulsoup4：

Beautiful Soup库简介：

Beautiful Soup库能够对HTML、XML格式进行解析，并且提取其中的相关信息。

Beautiful Soup库可以对你提供给它的任何格式进行相关的爬取，并且可以进行树形解析。

Beautiful Soup库使用原理：把我们给它的文档当作一锅汤，然后煲制这锅汤。

Beautiful Soup库小测：

演示HTML页面地址：http://python123.io/ws/demo.html

如何获得页面源代码？

一、手工获得，在浏览器打开页面，查看源代码。
在这里插入图片描述

二、用 requests库来自动获得链接对应的源代码。

import requests
r = requests.get("https://python123.io/ws/demo.html")
print(r.text)

Output：

获得源代码后，我们用Beautiful Soup库进行解析：

import requests
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo, "html.parser")
print(soup.prettify())

Output：

<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python
   </a>
   .
  </p>
 </body>
</html>

这说明 BeautifulSoup库成功解析了我们给出的demo页面。

怎么使用Beautiful Soup库呢？

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')

BeautifulSoup 是一个类
第一个参数是我们需要 BeautifulSoup 解析的一个 html 格式的信息
html.parser 是解析器

参考资料：Python网络爬虫与信息提取（北京理工大学慕课）

Giyn

关注

4
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
【Beautiful Soup库】{0} ——Beautiful Soup库的简介

首先我们安装一下 Beautiful Soup库：以管理员身份运行命令提示符，输入pip install beautifulsoup4：Beautiful Soup库简介：Beautiful Soup库能够对HTML、XML格式进行解析，并且提取其中的相关信息。Beautiful Soup库可以对你提供给它的任何格式进行相关的爬取，并且可以进行树形解析。Beautiful Soup库...
复制链接

扫一扫