python爬虫第四节：BeautifulSoup库基本用法 + 理解

最新推荐文章于 2022-01-27 20:41:30 发布

半旧。

最新推荐文章于 2022-01-27 20:41:30 发布

阅读量260

点赞数 1

分类专栏： Python爬虫

本文链接：https://blog.csdn.net/weixin_42067279/article/details/97236215

版权

Python爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

演示HTML的页面地址：https://python123.io/ws/demo.html 源码如下：

<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>
</body></html>

理解BeautifulSoup：

解析标签类型代码（HTML、XML），按需提取所需要元素，熬制“一锅汤”

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser')

# bs4是一个库，BeautifulSoup 是这个库中的一个类，来处理（熬制）HTML。

# HTML文档《==》标签树《==》 BeautifulSoup类

# 一共有四种解析器

# BeatufulSoup 类的5种基本元素

import requests
from bs4 import BeautifulSoup
url = "http://python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,"html.parser") # 第二个参数是解析这锅汤的解析器

# 1 获取 HTML 的 title
print(soup.title)
# 2 获取soup中的第一个a标签（如果有多个，那么只返回第一个）
tag = soup.a
print(tag)
# 3 获取 a 标签的父亲的名字
print(soup.a.name)
print(soup.a.parent.name)
# 4 获取 a 标签的属性有哪些
print(tag.attrs)
# 进一步获取某个具体的属性的值
print(tag.attrs['class'])
print(tag.attrs['href'])
# 5 获取标签的类型
print(type(tag.attrs))
print(type(tag))
# 6 获取 string
print(soup.a.string)
print(soup.p.string)

上述代码返回结果：

注释情况（不常用）：

基于BS4库的HTML遍历方法：

下行遍历

上行遍历

平行遍历

基于BS4库的HTML格式输出和编码

核心问题：如何让HTML内容更加 友好 地显示？

总结：

半旧。

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
python爬虫第四节：BeautifulSoup库基本用法 + 理解

演示HTML的页面地址：https://python123.io/ws/demo.html 源码如下：<html><head><title>This is a python demo page</title></head><body><p class="title"><b>The d...
复制链接

扫一扫