Python爬虫之bs4库

最新推荐文章于 2024-06-05 09:13:17 发布

老兵新业

最新推荐文章于 2024-06-05 09:13:17 发布

阅读量1.1w

点赞数 13

文章标签： python html BeautifulSoup bs4

本文链接：https://blog.csdn.net/qq_33995765/article/details/64904424

版权

python爬虫常用库之bs4

bs4全名BeautifulSoup，是编写python爬虫常用库之一，主要用来解析html标签。

1.安装

pip install beautifulsoup4

或

python -m pip install beautifulsoup4

2.基本使用方法

bs4中最基础的使用是BeautifulSoup类的使用，注意大小写哦。

用BeautifulSoup来解析html:

from bs4 import BeautifulSoup
soup1 = BeautifulSoup("<html> A Html Text</html>", "html.parser")
soup2 = BeautifulSoup(open("d://demo.html"), "html.parser")

两个参数：第一个参数是要解析的html文本，第二个参数是使用那种解析器，对于HTML来讲就是html.parser，这个是bs4自带的解析器。还可以安装lxml库来解析HTML或者XML，安装html5lib来解析html5lib。

#lxml解析html（需pip install lxml)
BeautifulSoup(html,'lxml')
#lxml解析XML
BeautifulSoup(xml,'xml')
#html5lib解析(需安装: pip install html5lib)
BeautifulSoup(html5,'html5lib')

2.1 BeautifulSoup基本元素

BeautifulSoup基本元素有：

基本元素	说明
Tag	标签，基本信息组织单元，用<>和</>标明开头和结尾
Name	标签的名字，<p>...</p>的名字就是’p'，用法<>.name
Attributes	标签属性，字典形式，用法：<>.attrs['href']
NavigableString	标签内非属性字符串，<p>这是非属性字符串</p>,用法：<>.string
Comment	标签内的注释部分<p>显示的内容<!-- comment就是这里啦--></p>

2.1.1 Tag标签

任何存在于html语法中的标签都可以用soup.<tag>访问获得。

当HTML文档中存在多个相同的tag时，soup.<tag>返回第一个

>>> soup2 = BeautifulSoup("<p class=\"title\"><b>The Contents of b in first p</b></p><p class=\"course\">The second p</p>","html.parser")
>>> soup2.p
<p class="title"><b>The Contents of b in first p</b></p>

2.1.2 Tag的name

每个Tag都有自己的名字，通过<tag>.name获取，字符串类型

>>> soup2.p.name
'p'

2.1.3 Tag的attrs(属性）

一个Tag可以有0个或多个属性，字典类型。

>>> soup2.p.attrs
{'class': ['title']}
>>> soup2.p.attrs['class']
['title']

2.1.4 Tag的NavigableString

NavigableString可以跨越多个层次的标签。

>>> soup2.p
<p class="title"><b>The Contents of b in first p</b></p>
>>> soup2.p.string
'The Contents of b in first p'
>>>

2.1.5 Tag 的Comment

Comment是一种特殊类型

>>> soup3 = BeautifulSoup("<p>This is a NavigableString</p><b><!-- This is a Comment --></b>","html.parser")
>>> soup3.p
<p>This is a NavigableString</p>
>>> soup3.b
<b><!-- This is a Comment --></b>
>>> soup3.p.string
'This is a NavigableString'
>>> type(soup3.p.string)
<class 'bs4.element.NavigableString'>
>>> soup3.b
<b><!-- This is a Comment --></b>
>>> soup3.b.string
' This is a Comment '
>>> type(soup3.b.string)
<class 'bs4.element.Comment'>
>>>

<p class="title">....</p>

p -> tag.name 'p'

class="title" -> tag.attrs (字典列表)

... -> NavigableString OR Comment

2.2 使用bs4遍历html内容

HTML是个树状结构，<>...</>构成了从属关系。对HTML的遍历，有下行遍历，上行遍历和平行遍历三种遍历途径或方法。

2.2.1 下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有的儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，主要用于循环遍历子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历。

BeautifulSoup类型是标签树的根节点。

soup.head
soup.head.contents
soup.body.contents
len(soup.body.contents)
soup.body.contents[0]

遍历子节点：

for child in soup.body.children:
    print(child)

遍历所有子孙节点：

for child in soup.body.descendants:
    print(child)

2.2.2 上行遍历

属性	说明
.parent	节点的父节点
.parents	节点的先辈节点标签的迭代类型，用于循环遍历先辈节点。

>>> soup
<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
</body></html>
>>> soup.title.parent
<head><title>This is a python demo page</title></head>
>>> soup.html.parent
<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
</body></html>
>>> soup.parent
>>>

注意：<html>..</html>标签的父节点是其自身

而soup本身的父节点是空。

进行先辈节点遍历时，包括soup自身，实际使用时需要判断。

for parent in soup.a.parents:
	if parent is None:
		print(parent)
	else:
		print(parent.name)

2.2.3 平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

平行遍历发生在同一个父节点下的各节点之间。

soup.a.next_sibling
soup.a.next_sibling.nextsibling
soup.a.previous_sibling
soup.a.parent

遍历后续节点：

for sibling in soup.a.next_siblings:
	print(sibling)

遍历前续节点：

for sibling in previous_siblings:
	print(sibling)

3. 基于bs4库的HTML格式输出

3.1 prettify()方法

.prettify()为HTML文本<>及其内容增加‘\n'

.prettify()可用于标签，方法<tag>.prettify()

print(soup.a.prettify())

3.2 bs4k库的编码

bs4库将任何HTML输入都变成utf-8编码，python3.x 默认支持编码是utf-8。完美匹配!

4.使用bs4进行HTML内容查找

使用bs4进行HTML内容解析查找，基本方法是使用<>.find_all()来进行

4.1 .find_all()的基本使用方法

基本格式：

<tag>.find_all(name, attrs, recursive, string, **kwargs)

其返回值为一个列表，存储查找的结果

参数：

name -> 对标签名称的检索字符串，可以是个字符串列表，表达“或”关系

soup.find_all('a')
soup.find_all(['a','b'])
soup.find_all(True)

attrs -> 对标签属性值的检索字符串，可标注属性检索

soup.find_all('a', 'title')
soup.find_all(id='link1')
soup.find_all(attrs = {"class":"course"})

recursive -> 是否对子孙全部检索，默认True

string -> <>...</>中的....的检索字符串

soup.find_all(string = 'This is a sample')

因为find_all太常用了，所以有简略用法：

<tag>(...) <--> <tag>.find_all(...)

soup(...) <--> soup.find_all(...)

程序员果然都是懒人..........

4.2 扩展方法

方法	说明
<>.find()	搜索且只返回一个结果，同.find_all()参数
<>.find_parents()	在先辈节点中搜索，返回列表类型，同.find_all()参数
<>.find_parent()	在先辈节点中返回一个结果，同.find()参数
<>.find_next_siblings()	在后续平行节点中搜索，返回列表类型，同find_all()参数
<>.find_next_sibling()	在后续平行节点中搜索，返回一个结果，同find()参数
<>.find_previous_siblings()	在前续平行节点中搜索，返回列表类型，同find_all()参数
<>.find_previous_sibling()	在前续平行节点中搜索，返回一个结果，同find()参数

老兵新业

关注

13
点赞
踩
105

收藏

觉得还不错? 一键收藏
0
评论
Python爬虫之bs4库

python爬虫常用库之bs4bs4全名BeautifulSoup，是编写python爬虫常用库之一，主要用来解析html标签。1.安装pip install beautifulsoup4或python -m pip install beautifulsoup42.基本使用方法bs4中最基础的使用是BeautifulSoup类的使用，注意大小写哦
复制链接

扫一扫