BeautifulSoup 的使用

最新推荐文章于 2023-02-25 14:09:17 发布
最新推荐文章于 2023-02-25 14:09:17 发布
阅读量244 收藏 1
点赞数
文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45659384/article/details/106695039
版权

六、BeautifulSoup 的使用

  • Beautiful Soup 是⼀个可以从HTML或XML⽂件中提取数据的⽹⻚信息提取库

6.1 基本使用方法

方法功能
BeautifulSoup(html_doc,‘lxml’) `获取bs对象
bs.prettify()打印文档内容
bs.title(标签名)获取标签内容
bs.title.name获取标签名称
bs.title.string获取标签里面的文本内容

6.2 bs4的对象种类

对象种类
tag标签
NavigableString可导航的字符串
BeautifulSoupbs对象
Comment注释
 from bs4 import BeautifulSoup
  
  html_doc = """
  <html><head><title>The Dormouse's story</title></head>
  <body>
  <p class="title"><b>The Dormouse's story</b></p>
  <p class="story">Once upon a time there were three little sisters; and their names were
  <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  and they lived at the bottom of a well.</p>
  <p class="story">...</p>
  """
  
  soup = BeautifulSoup(html_doc,'lxml')
  
  # print(type(soup)) # <class 'bs4.BeautifulSoup'>
  #
  # print(type(soup.title)) # <class 'bs4.element.Tag'>
  # print(type(soup.a)) # <class 'bs4.element.Tag'>
  # print(type(soup.p)) # <class 'bs4.element.Tag'>
  #
  # print(soup.p.string) # The Dormouse's story
  # print(type(soup.p.string)) # <class 'bs4.element.NavigableString'>
  title_tag = soup.p
  print(title_tag)
  print(title_tag.name)
  print(title_tag.string)
  html_comment = '<a><!-- 这里是注释内容--></a>'
  soup = BeautifulSoup(html_comment,'lxml')
  print(soup.a.string)
  print(type(soup.a.string)) # <class 'bs4.element.Comment'>

6.3 遍历树 遍历子节点

bs⾥⾯有三种情况，第⼀个是遍历，第⼆个是查找，第三个是修改

  • contents children descendants

    • contents 返回的是⼀个列表

    • children 返回的是⼀个迭代器通过这个迭代器可以进⾏迭代

    • descendants 返回的是⼀个⽣成器遍历⼦⼦孙孙

  • .string .strings .stripped_strings

    • string获取标签⾥⾯的内容

    • strings 返回是⼀个⽣成器对象⽤过来获取多个标签内容

    • stripped strings 和strings基本⼀致 但是它可以把多余的空格去掉

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')

# tag
# print(soup.title)
# print(soup.p)
# print(soup.p.b)
# print(soup.a)

# all_p = soup.find_all('p')
#
# print(all_p)
# []属性来取值
title_tag = soup.p
print(title_tag['class'])#['title']

# contents 返回的是一个列表

# children 返回的是一个迭代器通过这个迭代器可以进行迭代
# 迭代 重复 循环(loop)
# python当中 循环 while for 实现迭代 for ... in ...
# 在Python中可以使用for关键字来逐个访问可迭代对象



# descendants 返回的是一个生成器遍历子子孙孙


# contents 返回的是一个列表

# links = soup.contents
# print(type(links)) # <class 'list'>
# print(links)

# children 返回的是一个迭代器通过这个迭代器可以进行迭代

html = '''
<div>
<a href='#'>百度</a>
<a href='#'>阿里</a>
<a href='#'>腾讯</a>
</div>
'''
# 需要div标签下的数据
soup2 = BeautifulSoup(html,'lxml')

# links = soup2.contents

# print(type(links))
#
# print(links)

# for i in links:
#
#     print()

# links = soup2.div.children
# print(type(links)) # <class 'list_iterator'>
#
# for link in links:
#     print(link)

# descendants 返回的是一个生成器遍历子子孙孙

# print(len(soup.contents))
# # print(len(soup.descendants)) # TypeError: object of type 'generator' has no len()
#
# for x in soup.descendants:
#
#     print('----------------')
#     print(x)

# string获取标签里面的内容
# strings 返回是一个生成器对象用过来获取多个标签内容
# stripped strings 和strings基本一致 但是它可以把多余的空格去掉

# title_tag = soup.title
# print(title_tag)
# print(title_tag.string)
#
# head_tag = soup.head
# print(head_tag.string)
#
# print(soup.html.string)

# strings = soup.strings


# print(strings) # <generator object _all_strings at 0x000001D9053745C8>

# for s in strings:
#     print(s)

strings = soup.stripped_strings

for s in strings:
    print(s)

6.4 遍历树 遍历父节点

  • parent直接获得⽗节点

  • parents获取所有的⽗节点

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')
# parent直接获得父节点
# title_tag = soup.title
# print(title_tag)
# print(title_tag.parent)

# print(soup.html.parent)

# parents获取所有的父节点
a_tag = soup.a
# print(a_tag)
# print(a_tag.parents) # <generator object parents at 0x0000025F937E9678>

for x in a_tag.parents:
    print(x)
    print('----------------')

6.5 遍历树 遍历兄弟节点

  • next_sibling 下⼀个兄弟结点

  • previous_sibling 上⼀个兄弟结点

  • next_siblings 下⼀个所有兄弟结点

  • previous_siblings上⼀个所有兄弟结点

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# html = '<a><b>bbb</b><c>ccc</c><a>'
soup = BeautifulSoup(html_doc,'lxml')
#
# # print(soup.prettify())
# b_tag = soup.b
# print(b_tag)
# print(b_tag.next_sibling)
# c_tag = soup.c
# # print(c_tag.next_sibling)
# print(c_tag.previous_sibling)

a_tag = soup.a
# print(a_tag)

for x in a_tag.next_siblings:
    print(x)

6.6 搜索树

  • 字符串过滤器

  • 正则表达式过滤器：我们⽤正则表达式⾥⾯compile⽅法编译⼀个正则表达式传给 find 或者

  • findall这个⽅法可以实现⼀个正则表达式的⼀个过滤器的搜索

  • 列表过滤器

  • True过滤器

  • ⽅法过滤器

from bs4 import BeautifulSoup
import re

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""


soup = BeautifulSoup(html_doc,'lxml')


# • 字符串过滤器
# • 正则表达式过滤器
#   我们用正则表达式里面compile方法编译一个正则表达式传给 find 或者 findall这个方法可以实现一个正则表达式的一个过滤器的搜索
# • 列表过滤器
# • True过滤器
# • 方法过滤器

# • 字符串过滤器
# a_tag2 = soup.a
#

# a_tags = soup.find_all('a')
# print(a_tags)

# 我想要找到所有t 打头的标签 正则表达式
# print(soup.find_all(re.compile('t')))

# 我想要找p标签和a标签  列表过滤器
# print(soup.find_all(['p','a']))

# print(soup.find_all(['title','b']))

# print(soup.find_all(True)) # True过滤器

def fn(tag):
    return tag.has_attr('class')

print(soup.find_all(fn))

6.7 复习

方法功能
soup.prettify()格式化源码
soup.titletitle整个标签的内容
soup.title.name标签的名字
soup.title.string标签内容
soup.contents返回一个列表
soup.div.children返回一个迭代器
soup.descendants返回一个生成器 遍历子子孙孙
soup.string获取标签内容
soup.string获取所有标签内容
soup.stripped_strings获取所有标签内容并删除多余空格
soup.a.parent获取a标签的父节点
soup.a.previous_sibling上一个兄弟节点
soup.a.next_sibling下一个兄弟节点
soup.a.next_siblings下一个所有兄弟节点
soup.a.previous_siblings上一个所有兄弟节点

6.8 find

函数功能
find(‘标签’,class=‘属性’)查找单个标签
find_all()查找所有标签
find_parents()搜索所有⽗亲
find_parrent()搜索单个⽗亲
find_next_siblings()搜索所有兄弟
find_next_sibling()搜索单个兄弟
find_previous_siblings()往上搜索所有兄弟
find_previous_sibling()往上搜索单个兄弟
find_all_next()往下搜索所有元素
find_next()往下查找单个元素
find_all(self, name=None, attrs={}, recursive=True, text=None,limit=None, **kwargs)
name : tag 名称
attrs ：标签的属性
recursive : 是否递归
text : 文本内容
limit : 限制返回的条数
**kwargs ：不定长参数 以关键字来传参

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""


soup = BeautifulSoup(html_doc,'lxml')

# find_all(self, name=None, attrs={}, recursive=True, text=None,
#                  limit=None, **kwargs)
# name : tag 名称
# attrs ：标签的属性
# recursive : 是否递归
# text : 文本内容
# limit : 限制返回的条数
# **kwargs ：不定长参数 以关键字来传参
# a_tags = soup.find_all('a')

# p_tags = soup.find_all('p','title')



# print(soup.find_all(id = 'link1'))
# print(soup.find_all('a',limit=2))
# print(soup.a)
# print(soup.find('a'))

# print(soup.find_all('a',recursive=True))

# print(soup.find_all('a',limit=1)[0])
# print(soup.find('a'))

# find_parents() 搜索所有父亲
# find_parrent() 搜索单个父亲
# find_next_siblings()搜索所有兄弟
# find_next_sibling()搜索单个兄弟

title_tag = soup.title

# print(title_tag.find_parent('head')) # <head><title>The Dormouse's story</title></head>

s = soup.find(text = 'Elsie')

# print(s.find_previous('p'))
# print(s.find_parents('p'))

# a_tag = soup.a
#
# # print(a_tag)
# #
# # print(a_tag.find_next_sibling('a'))
#
# print(a_tag.find_next_siblings('a'))


# find_previous_siblings() 往上搜索所有兄弟
# find_previous_sibling() 往上搜索单个兄弟
# find_all_next() 往下搜索所有元素
# find_next()往下查找单个元素

a_tag = soup.find(id='link3')

# print(a_tag)

# print(a_tag.find_previous_sibling())

# print(a_tag.find_previous_siblings())

p_tag = soup.p

# print(p_tag.find_all_next())

print(p_tag.find_next('a'))

6.9 修改文档树

  • 修改tag的名称和属性

  • 修改string 属性赋值,就相当于⽤当前的内容替代了原来的内容

  • append() 像tag中添加内容,就好像Python的列表的 .append() ⽅法

  • decompose() 修改删除段落，对于⼀些没有必要的⽂章段落我们可以给他删除掉

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')

# 1.修改tag的名称和属性

# tag_p = soup.p
# print(tag_p)

# tag_p.name = 'w' # 修改名称
# tag_p['class'] = 'content' # 修改属性

# print(tag_p)


# 2. 修改string
tag_p = soup.p
# print(tag_p.string)

# tag_p.string = '521 wo ai ni men'

# print(tag_p.string)


# 3.tag.append() 方法 向tag中添加内容

# print(tag_p)
# tag_p.append('hahaha')
# print(tag_p)

# 4.decompose() 修改删除段落

result = soup.find(class_ = 'title')

result.decompose()

print(soup)

6.10 爬取天气网数据

  • 知识点
    • find('div',class='conMidtab'):根据标签属性获取数据
    • table.find_all('tr')[2:]:过滤掉前两个tr
    • enumerate 返回2个值，第一个是下标 第二个是下标所对应的元素
    • BeautifulSoup中有两种解析方式html和html5lib
import requests

from bs4 import BeautifulSoup

# 定义一个函数来解析网页
def parse_page(url):

    response = requests.get(url)
    # 解决乱码
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text,'html5lib') # pip install html5lib
    # 网页解析
    # 一、class="conMidtab"
    conMidtab = soup.find('div',class_='conMidtab')
    # print(conMidtab)
    # 二、table
    tables = conMidtab.find_all('table')
    # print(tables)

    for table in tables:
        # print(table)
        # 三、tr 过滤掉去前2个
        trs = table.find_all('tr')[2:]
        # enumerate 返回2个值第一个是下标 第二个下标所对应的元素
        for index,tr in enumerate(trs):
            # print(tr)
            tds = tr.find_all('td')

            # 判断
            city_td = tds[0] # 城市

            if index == 0:
                city_td = tds[1] # 省会


            # 获取一个标签下面的子孙节点的文本信息
            city = list(city_td.stripped_strings)[0]

            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            print('城市:',city,'温度:',temp)
        # break # 先打印北京

    # 四、td

    # print(text)


def main():

    url = 'http://www.weather.com.cn/textFC/hb.shtml' # 华东
    # url = 'http://www.weather.com.cn/textFC/db.shtml' # 东北
    url = 'http://www.weather.com.cn/textFC/gat.shtml' # 港澳台

    urls = ['http://www.weather.com.cn/textFC/hb.shtml','http://www.weather.com.cn/textFC/db.shtml' ,'http://www.weather.com.cn/textFC/gat.shtml']

    for url in urls:
        parse_page(url)


if __name__ == '__main__':


    main()
落日晚风愿能与你共赏
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3实现网络爬虫之BeautifulSoup使用详解
09-19
主要介绍了python3实现网络爬虫之BeautifulSoup使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python爬虫库-BeautifulSoup的使用
IT派
07-01 715
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属...
python beautiful soup库的用法
weixin_34127717的博客
03-09 2663
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
BeautifulSoup的使用
zsewer的博客
02-25 587
使用BeautifulSoup解析代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出 。本文主要介绍了BeautifulSoup的基础使用方法。
BeautifulSoup库的使用
编程之路
03-26 219
其实对很多人来说用起来是不方便的，加上需要记很多规则，所以用起来不是特别熟练，而这节我们提到的beautifulsoup就是一个非常强大的工具，爬虫利器。beautifulSoup “美味的汤，绿色的浓汤”一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它就不用编写正则表达式也能方便的实现网页信息的抓取快速使用通过下面的一个例子，对bs4有个简单的了解，以及看一下它的强大之处：from ...
python爬虫之BeautifulSoup 使用select方法详解
09-21
本篇文章主要介绍了python爬虫之BeautifulSoup 使用select方法详解，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python使用BeautifulSoup分析网页信息的方法
09-22
主要介绍了python使用BeautifulSoup分析网页信息的方法,涉及Python使用BeautifulSoup模块分析网页信息的技巧,非常具有实用价值,需要的朋友可以参考下
BeautifulSoup的简单使用
12-21
print("____________初始化一个对象，使用lxml进行解析__________________") soup = BeautifulSoup(html,'lxml') print("____________可直接输出解析后的html文档树__________________") print(soup) print("_______...
BeautifulSoup参考文档
最新发布
07-09
python XML html 解析库BeautifulSoup参考文档。文档来源：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
BeautifulSoup的用法
Lemon_Review的博客
12-06 346
BeautifulSoup的用法 beautifulSoup是一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 安装 通过指令: pip install beautifulsoup4 或者在pycharm第三方库安装页面中搜索安装beautifulsoup4即可。 使用 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, ‘html.parser’) Python的内置标准库、执行速
BeautifulSoup的基本使用
hacker707的博客
03-21 1万+
BeautifulSoup是一个用于从HTML和XML文件中提取数据的python模块。BeautifulSoup模块的查找提取功能非常强大，而且使用起来非常便捷，可以节约很多时间
BeautifulSoup基本使用
weixin_43910988的博客
04-13 108
import requests from bs4 import BeautifulSoup url = '' rp = requests.get(url,) soup = BeautifulSoup(rp.text, "lxml") # 一种方法可以查询到标签，并指定属性 content = soup.find_all("div", attrs={'class': 'card'}) img_tag = i.find('div', attrs={'class': 'media..
BeautifulSoup4的使用
weixin_42281813的博客
05-17 1300
BeautifulSoup 去除打印时警告信息 import warnings warnings.filterwarnings("ignore") html = """ <tbody> <tr class="h"> <td class="l" width="374">职位名称</td> <td>职位类别&...
python爬虫从入门到放弃（六）之 BeautifulSoup库的使用
weixin_33966365的博客
06-01 2456
上一篇文章的正则，其实对很多人来说用起来是不方便的，加上需要记很多规则，所以用起来不是特别熟练，而这节我们提到的beautifulsoup就是一个非常强大的工具，爬虫利器。 beautifulSoup “美味的汤，绿色的浓汤” 一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它就不用编写正则表达式也能方便的实现网页信息的抓取 快速使用 通过下面的一个例子，对bs4有个简单的了解，...
超级详细的BeautifulSoup使用方法
热门推荐
zt772612939的博客
09-09 2万+
BeautifulSoup 的使用 我们学习了正则表达式的相关用法，但是一旦正则写的有问题，可能得到的就不是我们想要的结果了，而且对于一个网页来说，都有一定的特殊的结构和层级关系，而且很多标签都有 id 或 class 来对作区分，所以我们借助于它们的结构和属性来提取不也是可以的吗？ 所以，这一节我们就介绍一个强大的解析工具，叫做 BeautiSoup，它就是借助网页的结构和属性等特性来解析网页...
使用BeautifulSoup解析html入门
Together_CZ的博客
02-20 5269
最近一直需要接触爬虫，爬虫得到的页面数据需要进一步的处理才能够转化为我们可以使用的数据，在这里今天学习的是BeautifulSoup这个python的第三方的库，这是一款很优秀的产品，可以很好地处理html文件，网上一搜一大堆的资源，今天的学习内容主要是依据网上一篇超级详细的入门教程来进行实验的，不得不说里面的内容真的好多，一时半会也不能全部都理解，在这里先记录一下今晚的学习成果，接下来有时间继续
BeautifulSoup使用
05-27
以下是一个简单的示例，演示如何使用BeautifulSoup从HTML文件中提取数据： ```python from bs4 import BeautifulSoup # 读取HTML文件 with open("example.html") as fp: soup = BeautifulSoup(fp, "html.parser")...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值