学习爬虫第六天 BS4

最新推荐文章于 2021-06-08 13:07:29 发布

魔力军

最新推荐文章于 2021-06-08 13:07:29 发布

阅读量584

点赞数 2

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/weixin_45550881/article/details/104199967

版权

Python 专栏收录该内容

40 篇文章 0 订阅

订阅专栏

学习爬虫第六天 BS4

1. bs4安装

pip install bs4

2. bs4 简介

bs4全名: Beautiful Soup
Github地址： 官方连接

3. 基本使用

示例：

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# 创建Beautiful Soup对象
soup = BeautifulSoup(html_doc, 'html.parser')

print(type(soup))

print(soup)

3-1. 常用方法

方法	说明
.find()	获取一个对应标签的值（获取到首个后便停止）
.find_all()	获取所有对应标签的值（后面添加[ 0 ],可获取对应位置的标签）

tips:
该方法获取的值是list，故可以进行切片；
方法示例：

from bs4 import BeautifulSoup

html_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0">
    <tbody>
        <tr class="h">
            <td class="1" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td>
            <td class="l">技术类</td>
            <td class="l">1</td>
            <td class="l">深圳</td>
            <td class="l">2018-11-25</td>
        </tr>
        <tr class="even">
            <td><a href="https://www.qq.com">金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(html_doc, 'lxml')

tdf = soup.find('td').parent

#  1.获取所有tr标签
trs = soup.find_all('tr')
trs = soup.find('tr')
print(trs)

# 4.将所有id等于test,class也等于test的a标签提取出来
alist = soup.find_all('a', attrs={"id": "test", "class": "test"})
alist = soup.find_all('a', id="test", class_="test")
print(alist)

# 3.获取所有的a标签的href属性
hrefs = soup.find_all('a')
for a in hrefs:
    print(a)
    # 1.通过下表的方式
    href = a['hrefs']
    如果没有取到返回None
    href = a.get('hrefs')
    print(href)
    # 2.通过attrs属性的方式
    href = a.attrs['hrefs']
    print(href)

# 6.获取所有的职位信息(纯文本)
trs = soup.find_all('tr')[1:]
for tr in trs:
    print(tr)
    tds = tr.find_all('td')
    print(tds)
    title = tds[0]
    print(title.string)

    获取tr标签的所有文本
    infos = list(tr.strings)
    print(infos)

    可以去除空格取纯文本
    infos = list(tr.stripped_strings)
    print(infos[0])

3-2. 解析器

3-2-1. Python标准库

使用方法： BeautifulSoup(markup, "html.parser")
优势与劣势：

优势	劣势
1. Python的内置标准库 2.执⾏速度适中 3.⽂档容错能⼒强	Python 2.7.3 or 3.2.2)前的版本中⽂档容错能⼒差

3-2-2. lxml HTML 解析库

使用方法： BeautifulSoup(markup, "lxml")
优势与劣势：

优势	劣势
1.速度快 2.⽂档容错能⼒强	需要安装C语⾔库

4. CSS常用选择器介绍

4-1. 查找常用的方法

通过标签名查找：

print(soup.select('a'))

通过类名查找：

print(soup.select('.sister')) 查找class=sister的标签

通过ID查找:

print(soup.select("#link1"))

组合查找： 组合查找即和写 class ⽂件时，标签名与类名、id名进⾏的组合原理是⼀样的，例如查找 p 标签中，id 等于 link1的内容，⼆者需要⽤空格分开：

print(soup.select("p #link1"))

直接子标签查找，则使用 > 分隔：

print(soup.select("head > title"))

通过属性查找：

print(soup.select('a[href="http://example.com/elsie"]'))

4-2. 获取内容

get_text()方法 获取内容
tips:以上的 select ⽅法返回的结果都是列表形式，可以遍历形式输出。

4-3. select和css选择器提取元素

示例html：

html_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0">
    <tbody>
        <tr class="h">
            <td class="1" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td>
            <td class="l">技术类</td>
            <td class="l">1</td>
            <td class="l">深圳</td>
            <td class="l">2018-11-25</td>
        </tr>
        <tr>
            <td><a href="https://www.qq.com">金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.zero.com">高级研发工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.python.com">高级图像算法工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.llp.com" id="test" class="test">高级业务运维工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
    </tbody>
</table>
"""

使用方法示例：

from bs4 import BeautifulSoup


soup = BeautifulSoup(html_doc, 'lxml')

# 1.获取所有tr标签
trs = soup.select('tr')
print(trs)

# 2.获取第2个tr标签
tr = soup.select('tr')[1]
print(tr)

# 3.获取所有class等于even的tr标签
tr = soup.select('tr.even')
print(tr)

# 4.获取所有的a标签的href属性
alist = soup.select('a')
for a in alist:
    href = a.get('href')
    print(href)

# 5.获取所有的职位信息(纯文本)
trs = soup.select('tr')

for tr in trs:
    infos = list(tr.stripped_strings)
    print(infos)

5. bs4 四大对象

四大对象：

Tag
NavigableString
BeautifulSoup
Comment

6. 遍历文档树

contents 返回所有子节点的列表
children返回所有⼦节点的迭代器

魔力军

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
学习爬虫第六天 BS4

学习爬虫第六天 BS41. bs4安装pip install bs42. bs4 简介bs4全名: Beautiful SoupGithub地址：官方连接3. 基本使用示例：from bs4 import BeautifulSouphtml_doc = """<html><head><title>The Dormouse's stor...
复制链接

扫一扫