python爬虫基础--------BeautifulSoup模块学习

最新推荐文章于 2022-05-26 09:33:04 发布

StudyWinter

最新推荐文章于 2022-05-26 09:33:04 发布

阅读量348

点赞数

分类专栏： python 文章标签： python 正则表达式 re BeautifulSoup

本文链接：https://blog.csdn.net/Zhouzi_heng/article/details/108586516

版权

python 专栏收录该内容

20 篇文章 11 订阅

订阅专栏

1.BeautifulSoup4简介

BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。

BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，BeautifulSoup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

2.BeautifulSoup4简单使用

假设有这样一个Html，具体内容如下：

<!DOCTYPE html>
<html>
<head>
    <meta content="text/html;charset=utf-8" http-equiv="content-type" />
    <meta content="IE=Edge" http-equiv="X-UA-Compatible" />
    <meta content="always" name="referrer" />
    <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css" />
    <title>百度一下，你就知道 </title>
</head>
<body link="#0000cc">
  <div id="wrapper">
    <div id="head">
        <div class="head_wrapper">
          <div id="u1">
            <a class="mnav" href="http://news.baidu.com" name="tj_trnews"><!--新闻--></a>
            <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
            <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
            <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
            <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
            <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
            <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品 </a>
          </div>
        </div>
    </div>
  </div>
</body>
</html>

创建beautifulsoup4对象：

from bs4 import BeautifulSoup

file = open("./baidu.html","rb")    #打开文件
html = file.read().decode("utf-8")                  #读到内存里作为HTML文档
#解析文件
bs = BeautifulSoup(html,"html.parser")     #树形结构

print(bs.title)                     #输出title    <title>百度一下，你就知道 </title>
print(bs.a)                         #输出第一个a标签
print(bs.head)                      #输出第一个head标签
print(type(bs.head))                 #<class 'bs4.element.Tag'>

3.BeautifulSoup4四大对象种类

BeautifulSoup4将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:
- Tag

- NavigableString

- BeautifulSoup

- Comment

3.1 Tag

Tag通俗点讲就是HTML中的一个个标签，例如：

from bs4 import BeautifulSoup

file = open("./baidu.html","rb")    #打开文件
html = file.read().decode("utf-8")                  #读到内存里作为HTML文档
#解析文件
bs = BeautifulSoup(html,"html.parser")     #树形结构

print(bs.title)                     #输出title    <title>百度一下，你就知道 </title>
print(bs.a)                         #输出第一个a标签
print(bs.head)                      #输出第一个head标签
print(type(bs.head))                 #<class 'bs4.element.Tag'>

我们可以利用 soup 加标签名轻松地获取这些标签的内容，这些对象的类型是bs4.element.Tag。但是注意，它查找的是在所有内容中的第一个符合要求的标签。

3.2 NavigableString
既然我们已经得到了标签的内容，那么问题来了，我们要想获取标签内部的文字怎么办呢？很简单，用string 即可，例如

print(bs.title.string)                #百度一下，你就知道
print(type(bs.title.string))          #<class 'bs4.element.NavigableString'>

3.3 BeautifulSoup
BeautifulSoup对象表示的是一个文档的内容。大部分时候，可以把它当作 Tag 对象，是一个特殊的 Tag，我们可以分别获取它的类型，名称，以及属性，例如：

print(bs.a.attrs)                     #用字典的形式输出a标签的属性值
print(type(bs))                        #<class 'bs4.BeautifulSoup'>

3.4 Comment
Comment 对象是一个特殊类型的 NavigableString 对象，其输出的内容不包括注释符号

print(bs.name)                         #[document]

print(bs.a.string)
print(type(bs.a.string))               #<class 'bs4.element.Comment'>

4.文档的变量

print(bs.head.contents)           #拿到head里面的内容
print(bs.head.contents[1])         #拿到第1个元素

5.文档的搜索

5.1 find_all()找到所有

#字符串过滤：会查找与字符串完全匹配的内容，必须完全一样  a
t_list = bs.find_all("a")
print(t_list)

正则表达式搜索：使用search()方法来进行匹配

import re
#正则表达式搜搜索：使用search()方法来进行匹配
t_list = bs.find_all(re.compile("a"))      #匹配带字符a的

print(t_list)

方法：传入一个函数(方法)，根据函数的要求来搜索:标签中有name的  (了解)

#方法：传入一个函数(方法)，根据函数的要求来搜索:标签中有name的  (了解)
def name_is_exists(Tag):
    return Tag.has_attr("name")

t_list = bs.find_all(name_is_exists)

for item in t_list:
    print(item)

5.2 kwarys 参数

id="head"

t_list = bs.find_all(id="head")       #id

for item in t_list:
    print(item)

带class

t_list = bs.find_all(class_=True)     #有class...
for item in t_list:
    print(item)

链接

t_list = bs.find_all(href="http://news.baidu.com")
for item in t_list:
    print(item)

5.3 text参数

通过text参数可以搜索文档中的字符串内容，与name参数的可选值一样，text参数接受字符串，正则表达式，列表

t_list = bs.find_all(text="hao123")

for item in t_list:
    print(item)

t_list = bs.find_all(text=["hao123","地图","贴吧"])
for item in t_list:
    print(item)

t_list = bs.find_all(text=re.compile("\d"))    #应用正则表达式来查找包含特定文本的内容(标签里的字符串)

for item in t_list:
    print(item)

5.4 limit 参数

可以传入一个limit参数来限制返回的数量，当搜索出的数据量为5，而设置了limit=2时，此时只会返回前2个数据。

t_list = bs.find_all("a",limit=3)

for item in t_list:
    print(item)

5.5 CSS选择器

通过标签来查找

t_list = bs.select("title")     #通过标签来查找
for item in t_list:
    print(item)

通过类名来查找

t_list = bs.select(".mnav")     #通过类名来查找
for item in t_list:
    print(item)

通过id来查找

t_list = bs.select("#u1")        #通过id来查找
for item in t_list:
    print(item)

通过标签里面的属性来查找

t_list = bs.select("a[class='bri']")    #通过标签里面的属性来查找
for item in t_list:
    print(item)

通过字标签来查找

t_list = bs.select("head > title")       #通过字标签来查找
for item in t_list:
    print(item)

兄弟结点

t_list = bs.select(".mnav~.bri")    #兄弟结点
print(t_list[0].get_text())

StudyWinter

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录