Beautiful Soup库应用（网络爬虫之提取）

 

---

目录

1.Beautiful Soup库的安装 

2. 采用BeautiSoup库解析

2.1 HTML标签格式

2.2 BeautifulSoup库的引用

2.3 BeautifulSoup库soup类

2.3.1 BeautifulSoup库 解析器

2.3.2 soup类的基本元素

2.3.2 获得基本元素的方法

2.4 基于bs4库的HTML遍历

2.4.1 HTML基本格式

2.4.2 HTML遍历类型

2.4.2.1 HTML下行遍历

2.4.2.3  HTML上行遍历

2.2.2.4 平行遍历

2.5 基于bs4库的HTML格式输出

2.5.1 bs4 prettify()方法

3. 小结

---

慕课课程学习笔记

1.Beautiful Soup库的安装 

Win平台: “以管理员身份运行”cmd ；执行pip install beautifulsoup4；

pycharm直接安装：

 

2. 采用BeautiSoup库解析

过程如下：

import requests
from bs4 import BeautifulSoup
#获取
r = requests.get("http://python123.io/ws/demo.html")
print(r.text)
demo = r.text
#解析
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())

代码：先获取，后解析

BeautifulSoup库是 解析、遍历、维护“标签树”的功能库

2.1 HTML标签格式

 

 

2.2 BeautifulSoup库的引用

 

 

2.3 BeautifulSoup库soup类

 

 

2.3.1 BeautifulSoup库 解析器

 

 

2.3.2 soup类的基本元素

 

 

2.3.2 获得基本元素的方法

注意类型

 

 

 

 

 

2.4 基于bs4库的HTML遍历

 

2.4.1 HTML基本格式

 

 

2.4.2 HTML遍历类型

 

2.4.2.1 HTML下行遍历

 

 

 

 

2.4.2.3  HTML上行遍历

 

 

 

 

2.2.2.4 平行遍历

 

 

 

 

 

2.5 基于bs4库的HTML格式输出

 

2.5.1 bs4 prettify()方法

 

 

3. 小结