Python 库学习 —— BeautifulSoup4学习


系列文章

Python 学习 01 —— Python基础
Python 库学习 —— urllib 学习
Python 库学习 —— BeautifulSoup4学习
Python 库学习 —— Re 正则表达式
Python 库学习 —— Excel存储(xlwt、xlrd)
Python 学习 02 —— Python爬虫
Python 库学习 —— Flask 基础学习
Python 学习03 —— 爬虫网站项目


1、基本说明

BeautifulSoup4可以将复杂的HTML文档转换成复杂的树形结构,
其中每个节点都是Python对象,所有对象可分为四类:

  • Tag:网页的标签及其内容,但只能获取到匹配的第一个标签

  • NavigableString:标签的内容(字符串)。

  • BeautifulSoup:表示文档本身,直接打印会输出HTML源码。

  • Comment:表示这是注释<!-- -->

    下面举例说明:

    本地项目有这么一个HTML文档:

    <!DOCTYPE html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <title>这是标题</title>
    </head>
    <body>
        <div>
            <span><!-- 这是注释 --></span>
            <a href="https://www.baidu.com" name="baidu">这是指向百度的链接</a>
            <a href="https://www.douban.com" name="douban">这是指向豆瓣的链接</a>
        </div>
    </body>
    </html>
    

    Python测试:

    from bs4 import BeautifulSoup
    
    # 以二进制方式打开HTML文档
    file = open("./test.html", "rb")
    # 读取字节流
    html = file.read()
    # 解析字节流文档,设置解析器为HTML。
    bs = BeautifulSoup(html, "html.parser")
    
    # 1. BeautifulSoup 代表整个文档本身。
    print(type(bs))
    print(bs)  # 输出HTML源码
    
    # 2. Tag类型
    print(type(bs.a))  # bs.a 是bs4.element.Tag对象
    print(bs.a)  # 输出 <a href="https://www.baidu.com" name="baidu">这是指向百度的链接</a>
    
    # 3. NavigableString类型
    print(type(bs.a.string))  # bs.a.string 是bs4.element.NavigableString
    print(bs.a.string)  # 输出 这是指向百度的链接
    
    print(type(bs.a.attrs))  # bs.a.attrs是dict类型,以字典形式获取标签的属性
    print(bs.a.attrs)  # 输出 {'href': 'https://www.baidu.com', 'name': 'baidu'}
    
    # 4. Comment类型
    print(type(bs.span.string))  # 此时是 bs4.element.Comment类型,而不是NavigableString
    print(bs.span.string)  # 输出  这是注释 ,Comment表示内容是注释
    

2、进阶使用

下面是利用BeautifulSoup进行HTML文档遍历和搜索。

  • 文档遍历:

    # 文档的遍历
    print("-" * 20, "文档遍历")
    # contents:获取Tag的所有子节点,返回一个列表
    print(bs.div.contents)
    print(bs.div.contents[1])
    
    # 其他还有很多遍历的属性,不过不怎么好用,通常使用搜索就行。
    
  • 文档搜索

    • 对标签进行搜索

      # 方式1:查找与<a>完全匹配的内容,其中limit参数用于限定最多搜索多少个。
      t_list = bs.find_all("a",limit=3)
      for item in t_list:
          print(item)
      
      # 方式2:正则表达式搜索,最常用的方式,后面会详细讲解。
      t_list = bs.find_all(re.compile("a"))  # 这里会搜索所有带 字母 a 的标签
      
      # 方式3:传入一个函数,根据函数要求来搜索。(了解)
      def name_is_exists(tag):
          # 这里是搜索含有name属性的标签
          return tag.has_attr("name")
      t_list = bs.find_all(name_is_exists)
      
    • 对标签参数进行搜索

      t_list = bs.find_all(class_="first")  # 搜索 属性class="first"的标签
      # 如果要搜索含有 class属性的,则条件为 class_=True 【因为class是关键字,所以有下划线】
      
    • 搜索标签的文本内容

      # 这里可以用正则表达式,例如 text=re.compile("\d")就是搜索包含数字的文本
      t_list = bs.find_all(text="这是指向百度的链接")  # 这样是搜完全匹配的内容
      
    • bs4也支持类似于jQuery的选择器搜索。

      # CSS选择器,类似于jQuery,把$换成了select而已
      print("-" * 20, "选择器")
      t_list = bs.select("title")  # 通过标签查找
      t_list = bs.select(".first")  # 搜索类名 first
      t_list = bs.select("#u1")  # 搜索 id=u1
      t_list = bs.select("a[name='douban']")  # 通过属性搜索
      t_list = bs.select("head > title")  # 通过子标签来查找,找head标签下的第一个title标签
      t_list = bs.select(".class1 ~ .class2")  # 找类class1的兄弟标签,且兄弟标签类要为claas2
      print(t_list[0].get_text())  # 获取其文本内容
      
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老板来碗小面加蛋~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值