初窥 -- BeautifulSoup

最新推荐文章于 2020-02-23 22:10:23 发布
最新推荐文章于 2020-02-23 22:10:23 发布
阅读量205 收藏
点赞数
分类专栏： 初识python 文章标签： Python bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/William_Sunrise/article/details/79242070
版权

Tag

soup = BeautifulSoup("<**p** class='title'><b>The Dormouse's story</b></p>")
tag = soup.p    #这里的soup.p中的 p 是上一条语句中的 p 
type(tag)
#<class 'bs4.element.Tag'>

_Tag的name属性

tag.name
'p'
tag
#<p class='title'><b>The Dormouse's story</b></p>

tag.name='test'   #name可以修改
tag
#<test class="title"><b>The Dormouse's story</b></test>

Tag的Attributes属性
标签<p class='title'><b>The Dormouse's story</b></p> 中 class 即为tag的属性，一个tag可以有很多个属性。class 属性的值为 title 。tag属性的操作方法与字典相同。

tag['class']
#['title']

tag的属性可以被添加，删除和修改，操作与字典一样

tag['class'] = 'test1'      #修改
tag['id'] = 11              #添加
tag
#<test class="test1" id="11"><b>The Dormouse's story</b></test>
del tag['class']            #删除
del tag['id']
#<test><b>The Dormouse's story</b></test>
print(tag.get('class',404))
#404

另外也可以用.attrs （字典方法）获取tag属性

tag['class'] = 'test1'
tag['id'] = 11
tag.attr
#{'class': 'test1', 'id': 11}

Tag 的多值属性 – 未完全弄懂 待续

BeautifulSoup对象
BeautifulSoup 对象(常用soup表示)表示的是一个文档的全部内容，大部分时候可以把他当做Tag 对象，但他没有name和attribute属性

*遍历文档树*
演示示例：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
    <body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

Tag的名字
操作文档树就是告诉他你想要获取的tag的name。若想要获取标签，只需要用soup.head 

soup.head
#<head><title>The Dormouse's story</title></head>
soup.title
#<title>The Dormouse's story</title>

可以多次使用. 点方法，获取你想要的标签

soup.head.title
#<title>The Dormouse's story</title>
soup.p
#<p class="title"><b>The Dormouse's story</b></p>
soup.p.b
#<b>The Dormouse's story</b>
soup.body.p.b
#<b>The Dormouse's story</b>

另外通过点取属性只能获得当前名字的第一个Tag：

soup.a
#<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

若想要得到所有的标签，可以用：find_all() 方法等

soup.find_all('a')
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

_.contents 和 .children —仅包含tag的直接子节点
tag 的 .contents 属性可以将tag的子节点以列表的方式输出

soup.head
#<head><title>The Dormouse's story</title></head>
soup.head.contents
#[<title>The Dormouse's story</title>]  --<head>直接子节title
soup.head.contents[0].contents
#["The Dormouse's story"]

通过tag的.children 生成器可以对tag的子节点进行循环

for child in head_tag.children:
    print(child)
#<title>The Dormouse's story</title>
#若不用循环
head_tag.children
#<list_iterator object at 0x000000000349AF28>

.descendants –可以对所有的tag的子孙节点进行递归循环

for child in head_tag.descendants:
    print(child)
#<title>The Dormouse's story</title>
#The Dormouse's story

.string
如果tag只有一个NavigableString 类型的子节点，那么可以用.string 得到子节点：

soup.head.string
#"The Dormouse's story"

如果包含多个NavigableString 类型的子节点，输出结果则为None

.strings 和 stripped_strings
如果tag中包含多个字符串，可以使用.strings 来循环获取：

for string in soup.strings:
    print(string)
#
#   
#
#
#The Dormouse's story
#
#
#
#
#The Dormouse's story
#
#
#Once upon a time there were three little sisters; and their #names were
#
#Elsie
#,
#
#Lacie
# and
#
#Tillie
#;
#and they lived at the bottom of a well.
#
#
#...

输出的字符串可能包含很多空格或空行，使用.stripped_strings 去除多余的空白内容,全部是空格的行挥别忽略掉，段首和段末的空白会被删除：

for string in soup.stripped_strings:
    print(string)
#The Dormouse's story
#The Dormouse's story
#Once upon a time there were three little sisters; and their #names were
#Elsie
#,
#Lacie
#and
#Tillie
#;
#and they lived at the bottom of a well.
#...

.parent
通过.parent 属性来获取某个元素的父节点，上例中标签是标签的父节点：

soup.title.parent
#<head><title>The Dormouse's story</title></head>

文档title的字符串也有父节点：

soup.title.string
#"The Dormouse's story"
soup.title.string.parent
#<title>The Dormouse's story</title>

.parents
通过.parents 属性可以递归得到元素的所有父辈节点：

 for parent in soup.title.string.parents:
    print(parent.name)
#title
#head
#html
#[document]

*搜索文档树*
例子如下：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
    <body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>

过滤器 – find_all()方法，返回一个列表
①字符串 – 最简单的过滤器
在搜索方法中传入一个字符串参数，BeautifulSoup会查找与字符串完整匹配的内容

soup.find_all('p')
#[<p class="title"><b>The Dormouse's story</b></p>, <p class="story">Once upon a time there were three little sisters; and their names were
#<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>, <p class="story">...</p>]

soup.find_all('b')
#[<b>The Dormouse's story</b>]

②正则表达式
在find_all()中传入正则表达式作为参数，BeautifulSoup会通过正则表达式的match()来匹配内容。

import re
for tag in soup.find_all(re.compile('^b')):  #找出所有以b为开头的标签
    print(tag.name)
#body
#b

for tag in soup.find_all(re.compile('t')):    #找出所有名字中包含t的标签
    print(tag.name)
#html
#title

列表
find_all()传入列表参数，BeautifulSoup会将与列表中任一元素匹配的内容返回。

soup.find_all(['body','b'])
#[<body>
#<p class="title"><b>The Dormouse's story</b></p>
#<p class="story">Once upon a time there were three little sisters; and their names were
#<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
#<p class="story">...</p>
#</body>, <b>The Dormouse's story</b>]

④True
True 可以匹配任何值，可用来查找所有的tag，但是不会返回字符串节点

for tag in soup.find_all(True):
    print(tag.name)
#html
#head
#title
#body
#p
#b
#p
#a
#a
#a
#p

⑤方法
find_all()可传入一个方法，该方法只接受一个元素参数，如果这个方法返回True 表示当前元素匹配并且被找到，否则返回False

*find_all()*
find_all(name,_attrs,recursive,string,**kwargs)
①name参数
name 参数可以查找所有名字为name的tag，字符串对象会被自动省略。

soup.find_all('head')
#[<head><title>The Dormouse's story</title></head>]

soup.find_all('a')
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" #href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" #id="link3">Tillie</a>]

②keyword参数
如果find_all()中的参数名，不是指定搜索文档中的内置参数名，搜索时会把该参数当做指定名字的tag属性来搜索。
搜索指定名字的属性时可以使用的参数值有：字符串，正则表达式，列表，True

soup.find_all(id='link1')   --#字符串
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

soup.find_all(href=re.compile("elsie"))  --#正则表达式
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

soup.find_all(id=True)  --#True
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" #href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" #id="link3">Tillie</a>]

可以使用多个指定名字的参数同时过滤tag的多个属性：

soup.find_all(id='link1',href=re.compile("elsie"))
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

按CSS搜索
通过CSS类名搜索，通过class_ 参数搜索有指定CSS类名的tag：
class_ 参数接受不同类型的过滤器：字符串，正则表达式，True和方法

soup.find_all(class_='title') #字符串
#[<p class="title"><b>The Dormouse's story</b></p>]

soup.find_all(class_=re.compile('itl'))  #正则表达式
#[<p class="title"><b>The Dormouse's story</b></p>]

soup.find_all(class_=True)  #True
#[<p class="title"><b>The Dormouse's story</b></p>, <p class="story">Once upon a time there were three little #sisters; and their names were
#<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
#and they lived at the bottom of a well.</p>, <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, #<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" #href="http://example.com/tillie" id="link3">Tillie</a>, <p class="story">...</p>]

当tag中的class 是多值属性.按CSS类名搜索可以分别搜索tag中的每个CSS类名;

css_soup = BeautifulSoup('<p class="body strikeout"></p>','lxml')
css_soup.find_all(class_='body')
#[<p class="body strikeout"></p>]

css_soup.find_all('p',class_='strikeout')
#[<p class="body strikeout"></p>]

如果按照class 属性完全匹配，如果CSS类名的顺序与实际不符，将搜索不到结果:

css_soup.find_all(class_='body strikeout')
#[<p class="body strikeout"></p>]

__string 参数
string 参数可以搜索文档中的字符串内容，string 参数接受字符串，正则表达式，True，列表，返回字符串列表

soup.find_all(string='Tillie')   #字符串
#['Tillie']
soup.find_all(string=True)       #True
#['\n', "The Dormouse's story", '\n', '\n', "The Dormouse's story", '\n', 'Once upon a time there were three little sisters; and their names were\n', 'Elsie', ',\n', 'Lacie', ' and\n', 'Tillie', ';\nand they lived at the bottom of a well.', '\n', '...', '\n']
soup.find_all(string=re.compile('D'))  #正则表达式
#["The Dormouse's story", "The Dormouse's story"]
soup.find_all(string=['Tillie','Elsie','Lacie'])  #列表
#['Elsie', 'Lacie', 'Tillie']

可以和其他参数混合使用过滤tag

soup.find_all('a',string='Tillie')    #**与字符串混合使用，字符串放在string之前**
#[<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.find_all(string='Tillie',id='link3')
#[<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

limit参数
find_all()方法返回全部的搜索结构，可以使用limit参数限制返回结果的数量 当搜索数量达到limit限制，就停止搜索

soup.find_all(class_='sister',limit=2)
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" #href="http://example.com/lacie" id="link2">Lacie</a>]
soup.find_all(class_='sister',limit=1)
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

recursive参数 – 用于搜索tag的直接子节点，recursive=False

soup.find_all('title')
#[<title>The Dormouse's story</title>]
soup.find_all('title',recursive=False)
#[]

像调用find_all一样调用tag
即soup.find_all(参数) 相当于soup(参数) 

soup('title')
#[<title>The Dormouse's story</title>]
soup('a',id='link1')
#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

find() 与 find_all() 区别
find_all() 方法返回结果是一个列表,find()方法直接返回结果
find_all() 方法未找到目标结果返回空列表，find()方法则返回None

———————————————————————————–此仅仅为BeautifulSoup部分

蜕_变
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BeaufulSoup获取特定标签下内容的方法
LivingStone的博客
05-19 6万+
以下是个人在学习beautifulSoup过程中的一些总结，目前我在使用爬虫数据时使用的方法的是：先用find_all()找出需要内容所在的标签，如果所需内容一个find_all()不能满足，那就用两个或者多个。接下来遍历find_all的结果，用get_txt（）、get('href')、得到文本或者链接，然后放入各自的列表中。这样做有一个缺点就是txt的数据是一个单独的列表，链接的数据也是一个单
python爬虫教程pdf-《Python爬虫开发与项目实战》pdf完整版
weixin_37988176的博客
11-01 1652
【实例简介】【实例截图】【核心代码】目录前言基础篇第1章　回顾Python编程21.1　安装Python21.1.1　Windows上安装Python21.1.2　Ubuntu上的Python31.2　搭建开发环境41.2.1　Eclipse PyDev41.2.2　PyCharm101.3　IO编程111.3.1　文件读写111.3.2　操作文件和目录141.3.3　序列化操作151.4　进程和...
Python 爬虫---初窥门径
Impt_gofly的博客
11-30 500
: 原出处 入门爬虫小实例。 本次实验先爬一个豆瓣电影top250的小页面。–得到250个电影的名称。麻雀虽小，五脏俱全。从这一个小小的例子中领略爬虫原理。 要爬寻得网址： 豆瓣/top250 编写爬虫之前，我们需要先思考爬虫需要干什么，目标网站有什么特点，以及根据目标网站的数据数量和数据结构特点选择合适的架构。 F12 查看页面信息 右键单击某一电影–>查看元素 都可以得到相应的信息。...
爬虫初窥day3：BeautifulSoup
weixin_30695195的博客
03-19 64
信息提取 1.通过Tag对象的属性和方法 #!/usr/bin/python # -*- coding: utf-8 -*- from urllib.request import urlopen from bs4 import BeautifulSoup import re html = urlopen('https://www.cnblogs.com/pcat/...
Python爬虫初窥
qq_27672101的博客
02-23 1019
如果编程是魔术，那么网页抓取就是巫术，很多人更加倾向的把网页抓取称作为网络爬虫。引自《Python网络爬虫权威指南》 我们都知道通过浏览器可以很方面的浏览妇联网上的海量信息，通过浏览器打开一个链接，其实浏览器干了很多事情，首先通过http/https协议根据url统一资源定位符获取到该资源的数据，这些数据其实就是html文本，浏览器将这些数据解析并显示出来。当然我们可以不使用浏览器，网络爬虫就是...
初窥爬虫（python）
Delores的博客
10-30 254
初窥爬虫（python）
python之urllib模块urlretrieve（）函数初窥
Together_CZ的博客
02-22 8681
今天在使用python的库urllib做实验的时候接触到了urlretrieve()这个函数，个人感觉很有意思，可能是因为之前一直都没有使用过这样简洁的函数，urllib模块可以很容易的获取互联网上页面的html内容，之后可以利用re模块提供的正则表达式来提取自己需要的信息，在需要从网上下载数据或者材料的时候需要编写专门的程序来保存文件。     urlretrieve()这个函数可以直接从互联
初窥Scrapy，Scrapy今天算是正式入门了
09-26 358
Scrapy入门过程中遇到的难点：scrapy.Request(url)不执行，或者没反应，extract()和extract_first()，parse()里用yield将当前值给piplines，然后继续执行运行，scrapy爬虫数据保存到表格中（保存为.csv）解决间隔空行的问题，保存后的csv编码问题
python书籍推荐-Python爬虫开发与项目实战
weixin_39363245的博客
06-11 890
所属网站分类: 资源下载 >python电子书 作者：doit 链接：http://www.pythonheidong.com/blog/article/466/ 来源：python黑洞网www.pythonheidong.com 内容简介 随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介...
requests-beautifulsoup-scrapy
12-11
### requests-beautifulsoup-scrapy：全面解析网页抓取与处理技术 #### 一、基础知识概述 **requests-beautifulsoup-scrapy** 这个标题指代的是三款在Python Web开发领域非常重要的工具：requests 库、...
python-beautifulsoup4-4.3.2-1.el7.noarch.rpm
01-02
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
02-BeautifulSoup示例.py
05-05
02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup示例.py02_BeautifulSoup...
beautifulsoup-zh_CN-v4.4.0.zip
04-02
这个"beautifulsoup-zh_CN-v4.4.0.zip"压缩包包含的是BeautifulSoup库的中文版文档，版本为4.4.0，对于中文使用者来说，能够更方便地理解和学习这个库的功能和用法。 首先，BeautifulSoup库的核心功能在于它提供了...
beautifulsoup4-4.12.2-py3-none-any.whl
最新发布
12-15
beautifulsoup4 whl安装文件
第一个小爬虫--爬取图片并保存
William_Sunrise的博客
12-20 2062
import urllib.request import re import osdef url_open(url): req=urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like
Windows下解决python3.x 使用pip安装模块超时问题，及在Jupyter Notebook界面安装Python包
William_Sunrise的博客
10-19 1789
使用默认的pip命令自动访问 pypi.python.org 网速很慢 解决方法： 用pip安装模块时使用 -i 参数，配合国内镜像，比如豆瓣镜像 https://pypi.doubanio.com/simple/ pip3 install -i https://pypi.doubanio.com/simple/ 可以看到网速很真实了！ ...
Python：正则表达式
William_Sunrise的博客
10-28 1302
正则表达式中： ①直接给出字符，精确匹配 \d 匹配一个数字 \w 匹配一个字母或数字 .可以匹配任意字符 如： ‘\d\d\d’可匹配 ‘110’ ‘\w\w\d’可匹配 ‘py2’ ‘\py.’ 可匹配 ‘pyc’ ‘py1’ 等 ②匹配变长的字符 * 任意个...
Python3.6+Scrpy的安装
William_Sunrise的博客
03-08 951
① 安装Python3.6，浏览器打开官网，找到适合自己操作系统的版本下载即可，注意Customize installation 为自定义安装路径，不要忘记勾选pip 进行安装。②安装pywin32.网址：https://sourceforge.net/projects/pywin32/files/pywin32/ 下载相应版本的.exe 文件，下载完成后安装即可。③安装lxml，命令pip3 i
-利用BeautifulSoup库爬取墨迹天气网
10-04
使用BeautifulSoup库可以很方便地爬取墨迹天气网的信息。首先，你需要安装BeautifulSoup库，可以使用pip install BeautifulSoup4命令进行安装。安装完成后，你可以根据墨迹天气的网址，使用urlopen方法打开网页并获取网页内容。然后，使用BeautifulSoup库的解析器对网页内容进行解析。你可以使用find方法找到对应的元素，并提取需要的信息。比如，你可以使用find方法找到空气质量的元素，并使用string属性获取其文字内容。同样的，你可以找到当前温度和天气的元素，并提取相应的信息。下面是一个使用BeautifulSoup库爬取墨迹天气网信息的示例代码： from urllib.request import urlopen from bs4 import BeautifulSoup url = urlopen('https://tianqi.moji.com/weather/china/beijing/haidian-district') soup = BeautifulSoup(url, 'html.parser') alert = soup.find('div', class_="wea_alert clearfix").em print("空气质量：" + alert.string) weather = soup.find('div', class_="wea_weather clearfix") print("当前温度：" + weather.em.string + "℃") print("天气：" + weather.b.string)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值