演示HTML的页面地址:https://python123.io/ws/demo.html 源码如下:
<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>
</body></html>
理解BeautifulSoup:
解析标签类型代码(HTML、XML),按需提取所需要元素,熬制“一锅汤”
from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser')
# bs4是一个库,BeautifulSoup 是这个库中的一个类,来处理(熬制)HTML。
# HTML文档 《==》 标签树 《==》 BeautifulSoup类
# 一共有四种解析器
# BeatufulSoup 类的5种基本元素
import requests
from bs4 import BeautifulSoup
url = "http://python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,"html.parser") # 第二个参数是解析这锅汤的解析器
# 1 获取 HTML 的 title
print(soup.title)
# 2 获取soup中的第一个a标签(如果有多个,那么只返回第一个)
tag = soup.a
print(tag)
# 3 获取 a 标签的父亲的名字
print(soup.a.name)
print(soup.a.parent.name)
# 4 获取 a 标签的属性有哪些
print(tag.attrs)
# 进一步获取某个具体的属性的值
print(tag.attrs['class'])
print(tag.attrs['href'])
# 5 获取标签的类型
print(type(tag.attrs))
print(type(tag))
# 6 获取 string
print(soup.a.string)
print(soup.p.string)
上述代码返回结果:
注释情况(不常用):
基于BS4库的HTML遍历方法:
下行遍历
上行遍历
平行遍历
基于BS4库的HTML格式输出和编码
核心问题:如何让HTML内容更加 友好 地显示?