Python爬虫 BeautifulSoup（bs4）-- bs4介绍、安装bs4、bs4基础语法

已于 2022-02-28 21:45:20 修改
阅读量2.7w 收藏 222
点赞数 37
分类专栏： # Python爬虫
于 2022-02-28 20:49:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/I_r_o_n_M_a_n/article/details/123190510
版权

python 爬虫 开发语言

1. BeautifulSoup简介

  1. BeautifulSoup简称： bs4 。
  2. 什么是BeatifulSoup？ BeautifulSoup，和lxml一样，是一个html的解析器，主要功能也是解析和提取数据 。
  3. 优缺点？
    • 缺点：效率没有lxml的效率高
    • 优点：接口设计人性化，使用方便。

2. 安装以及创建

  1. 安装pip install bs4

    补充：可以使用 PyCharm 快速安装。
    在这里插入图片描述

  2. 导入from bs4 import BeautifulSoup

  3. 创建对象 服务器响应的文件生成对象 soup = BeautifulSoup(response.read().decode(), 'lxml') 本地文件生成对象 soup = BeautifulSoup(open('1.html'), 'lxml') 注意：默认打开文件的编码格式gbk所以需要指定打开编码格式

3. bs4基础语法

3.1 节点定位

熟悉CSS选择器的同学可能就会对下面的语法感到很熟悉了。
在这里插入图片描述在这里插入图片描述

3.2 节点信息

在这里插入图片描述

4. 具体示例

4.1 爬取本地数据

准备工作

bs4的基本使用就是我们下面些py代码的地方，index.html就是我们要解析的html。
在这里插入图片描述

index.html

<!DOCTYPE html>
<html lang="en" xmlns="">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    <div>
        <ul>
            <li id="l1">张三</li>
            <li id="l2">李四</li>
            <li>王五</li>
            <a href="" id="" class="a1">尚硅谷</a>
            <span>嘿嘿嘿</span>
        </ul>
    </div>
    <a href="" title="a2">百度</a>
    <div id="d1">
            <span>
                哈哈哈
            </span>
    </div>
    <p id="p1" class="p1">呵呵呵</p>
</body>
</html>

代码演示：

  1. 找到的是第一个符合条件的数据，并获取标签的属性和属性值
from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# 根据标签名查找节点
# 找到的是第一个符合条件的数据
print(soup.a)
# 获取标签的属性和属性值
print(soup.a.attrs)

在这里插入图片描述

  1. bs4 find函数示例：返回的是第一个符合条件的数据
from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# bs4的一些函数
# （1）find
# 返回的是第一个符合条件的数据
print(soup.find('a'))

# 根据title的值来找到对应的标签对象
print(soup.find('a', title="a2"))

# 根据class的值来找到对应的标签对象  注意的是class需要添加下划线
print(soup.find('a', class_="a1"))

在这里插入图片描述

  1. find_all 方法是返回所有符合条件的数据（列表形式）
# （2）find_all  返回的是一个列表 并且返回了所有的a标签
print(soup.find_all('a'))

# 如果想获取的是多个标签的数据 那么需要在find_all的参数中添加的是列表的数据
print(soup.find_all(['a','span']))

# limit的作用是查找前几个数据
print(soup.find_all('li',limit=2))

在这里插入图片描述

  1. select（推荐）：select方法返回的是一个列表（符合条件的所有数据）
# （3）select（推荐）
# select方法返回的是一个列表  并且会返回多个数据
print(soup.select('a'))

# 可以通过.代表class  我们把这种操作叫做类选择器
print(soup.select('.a1'))

# 可以通过#代表id 我们把这种操作叫做id选择器
print(soup.select('#l1'))

在这里插入图片描述

from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# （3）select（推荐）
# 属性选择器---通过属性来寻找对应的标签
# 查找到li标签中有id的标签
print(soup.select('li[id]'))

# 查找到li标签中id为l2的标签
print(soup.select('li[id="l2"]'))

在这里插入图片描述

from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# （3）select（推荐）
# 层级选择器
#  后代选择器
# 找到的是div下面的li
print(soup.select('div li'))

# 子代选择器
#  某标签的第一级子标签
# 注意：很多的计算机编程语言中 如果不加空格不会输出内容  但是在bs4中 不会报错 会显示内容
print(soup.select('div > ul > li'))

在这里插入图片描述

from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# （3）select（推荐）
# 找到a标签和li标签的所有的对象
print(soup.select('a,li'))

# 节点信息
#    获取节点内容
obj = soup.select('#d1')[0]
# 如果标签对象中 只有内容 那么string和get_text()都可以使用
# 如果标签对象中 除了内容还有标签 那么string就获取不到数据 而get_text()是可以获取数据
# 我们一般情况下  推荐使用get_text()
print(obj.string)
print(obj.get_text())

在这里插入图片描述

from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# （3）select（推荐）
# 节点的属性
obj = soup.select('#p1')[0]
# name是标签的名字
print(obj.name)
# 将属性值左右一个字典返回
print(obj.attrs)

在这里插入图片描述

from bs4 import BeautifulSoup

# 通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 BeautifulSoup使用的是lxml内核
soup = BeautifulSoup(open('index.html', encoding='utf-8'), 'lxml')

# （3）select（推荐）
# 获取节点的属性
obj = soup.select('#p1')[0]
#
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])

在这里插入图片描述

4.2 爬取服务器响应文件

在这里插入图片描述

我们要进行抓取的就是这些产品的名字：
在这里插入图片描述

我们可以先用Xpath Helper找到我们需要的数据，然后使用bs4的语法去做一下转换。
在这里插入图片描述

  • xpath: ul[@class="grid padded-3 product"]//strong/text()
  • 转为bs4：ul[class="grid padded-3 product"] strong

然后代码就出来了：

import urllib.request
from bs4 import BeautifulSoup

url = 'https://www.starbucks.com.cn/menu/'

response = urllib.request.urlopen(url)

content = response.read().decode('utf-8')

soup = BeautifulSoup(content, 'lxml')

# //ul[@class="grid padded-3 product"]//strong/text()
name_list = soup.select('ul[class="grid padded-3 product"] strong')

for name in name_list:
    print(name.get_text())

运行结果：

在这里插入图片描述

CodeJiao
关注
  • 37
    点赞
  • 踩
  • 222
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫编程4——数据解析模块之bs4
qq_52914337的博客
01-21 2599
目录 一.bs4简介 1.基本概念 2.源码分析 二.bs4的使用 1.快速开始 2.bs4的对象种类 三.遍历文档树 遍历子节点 1.contents children descendants 2.string strings stripped_strings 四.遍历文档树 遍历父节点 1.parent和parents 五.遍历文档树 遍历兄弟节点 六.搜索树 七.find_all() 和 find() 八.select（）方法 九...
Python爬虫：bs4解析
Ohh24的博客
11-01 4306
python爬虫学习笔记：bs4解析
python爬虫：bs4库的安装和使用
最新发布
weixin_43822401的博客
07-16 545
首先，你需要安装bs4库。你需要获取要解析的HTML内容。希望以上信息对您有所帮助！
python中bs4.BeautifulSoup的基本用法
09-18
主要介绍了python中bs4.BeautifulSoup的基本用法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python爬虫学习笔记（六）————BeautifulSoup（bs4）解析
laosao_66的博客
07-17 2233
(1).获取节点内容：适用于标签中嵌套标签的结构 obj.string obj.get_text()【推荐】 (2).节点的属性 tag.name 获取标签名 eg:tag = find('li) print(tag.name) tag.attrs将属性值作为一个字典返回 (3).获取节点属性 obj.attrs.get('title')【常用】 obj.get('title') obj['title']注意：默认打开文件的编码格式gbk所以需要指定打开编码格式。（3）缺点：效率没有lxml的效率高。
python bs4(beautifulsoup4)
zcx1203的博客
10-18 354
BS4本身是一种对描述语言进行封装的函数操作模块，通过提供面向对象的操作方式将文档对象中的各种节点、标签、属性、内容等等都封装成了python中对象的属性，在查询操作过程中，通过调用指定的函数直接进行数据 匹配检索操作，非常的简单非常的灵活。 一般BS4将HTML文档对象会转换成如下四种类型组合的文档树 Tag：标签对象 NavigableString：字符内容操作对象 BeautifulSou...
bs4之Beautiful Soup
三岁学编程的博客
04-21 1245
全网最全Beautiful soup 解析，仅次于解释文档
python bs4 BeautifulSoup
weixin_55399173的博客
11-25 336
from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') # 定位所有标签 findAll, 定位第一个 find lst = soup.findAll('a', attrs={'class': 'count-limit'}) # 是一个list i = soup.find('a', attrs={'class': 'count-limit'}) # 一个对象 i.string # 该节点的文本内容 i['href'
Python爬虫使用bs4方法实现数据解析
09-16
标题中的“Python爬虫使用bs4方法实现数据解析”指的是使用Python编程语言编写网络爬虫时，通过BeautifulSoup（简称bs4）库来解析网页HTML或XML文档，从而提取所需数据的过程。描述中提到，文章提供了详细的示例代码...
BS4_BeautifulSoup.docx
06-06
#### 一、BS4模块介绍与安装 **1.1 模块概述** BeautifulSoup是一个用于解析HTML和XML文档的强大Python库。它提供了简单易用的API来帮助开发者从网页中提取所需的数据。无论是处理简单的网页结构还是复杂的XML文档...
bs4_beautifulsoup4.zip
08-18
Python中用于网络爬虫读取网页的函数库，BeautifulSoup是python解析html非常好用的第三方库！
Python爬虫beautifulsoup4常用的解析方法总结
09-19
这篇总结将详细介绍BeautifulSoup4的一些常用解析方法，帮助开发者更高效地处理网页数据。 首先，要使用BeautifulSoup4解析HTML文档，我们需要先将其装载到BeautifulSoup对象中。这通常通过发送HTTP请求获取网页...
bs4 Beautiful Soup详解
qq_44090577的博客
07-17 9099
Python：bs4的使用 概述 bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。 一、初始化 from bs4 import BeautifulSoup soup = BeautifulSoup("<html>A Html Text</html>", "html.parser") 两个参数：第一个参数是要解...
Python——bs4.BeautifulSoup的基本用法
书启鸿蒙知秋枫
02-08 1264
BeautifulSoup4将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，所有对象可以归纳为4种: -Tag -NavigableString -BeautifulSoup -Comment from bs4 import BeautifulSoup import re file = open("./baidu.html", "rb") html = file.read().decode("utf-8") bs = BeautifulSoup(html, "html.p.
第7课： bs4 库 的 BeautifulSoup 基础学习
Hakcer's Junk
11-20 2499
这里写目录标题BeautifulSoup 的使用：利用bs4 的 BeautifulSoup 抓取和赛选信息？bs4 的 Beautiful Soup 详细解释： BeautifulSoup 的使用： 利用bs4 的 BeautifulSoup 抓取和赛选信息？ 当我们成功得到网站的反馈后，怎么打印出反馈给我们的数据信息呢，代码如下： 在这个之前我们需要安装 bs4 库 和 lxml 库 。不会的请看：《第4课：在 Pycharm 编译器里，如何安装库 模块 包》 #encoding:utf-8 f
bs4的BeautifulSoup使用
qq_34577961的博客
03-13 2172
基本语法 from bs4 import BeautifulSoup #实例化BeautifulSoup对象，然后把即将被解析的页面源码数据加载到了该对象中 soup = BeautifulSoup(respone,'lxml') #respone，表示html源码，可以读取本地文件，也可以读取网络请求 标签定位 # 标签定位,只会得到第一个匹配到的数据 # 语法：soup.标签名 import requests from bs4 import BeautifulSoup headers = {
H5移动网页 苹果键盘修改 换行 为 搜索
Lenny-zlp的博客
09-09 818
input 放在 form标签内 type=“search” form 标签加上 action="javascript:return true" <form action="javascript:return true"> <input type="search" placeholder="搜索商品" value="" name="keyword" class="Myseach" /> </form> 效果如图 ...
bs4中的BeautifulSoup
坑底Z蛙
05-28 1205
# -*- coding: utf-8 -*- #爬取的网页为：http://www.pythonscraping.com/pages/warandpeace.html from urllib.request import urlopen from bs4 import BeautifulSoup html=urlopen("http://www.pythonscraping.com/pages/...
Python爬虫之bs4
weixin_54812545的博客
06-17 718
Python爬虫之bs4一、聚焦爬虫：爬取页面中指定的页面内容二、数据解析分类:三、数据解析原理概述:四、bs4进行数据解析：1.数据解析的原理：2.bs4数据解析的原理：3.环境安装：4.如何实例化BeautifulSoup对象 一、聚焦爬虫：爬取页面中指定的页面内容 编码流程 指定url 发起请求 获取响应数据 数据解析 持久化存储 二、数据解析分类: 1.正则 2.bs4 3.xpath（***) 三、数据解析原理概述: 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 1.
pycharm bs4
09-13
PyCharm是一个Python集成开发环境（IDE），而BeautifulSoup4（简称bs4）是一个用于解析HTML和XML的Python库。在PyCharm中使用bs4需要先安装它，可以通过使用pip命令在PyCharm的终端中进行安装。 要安装bs4，可以按照以下步骤进行操作： 1. 打开PyCharm并创建一个新的Python项目。 2. 在PyCharm的底部工具栏中找到终端图标，点击打开终端。 3. 在终端中输入以下命令并按下回车键进行安装： ``` pip install beautifulsoup4 ``` 这将会下载并安装最新版本的bs4库。 4. 安装完成后，您可以在PyCharm中的Python代码中导入bs4库并开始使用它。例如，您可以使用以下导入语句： ```python from bs4 import BeautifulSoup ``` 这样就可以使用bs4库提供的功能来解析和操作HTML和XML文件了。 请注意，在使用bs4之前，您需要对HTML和XML的基本结构有一定的了解。希望这能帮助到您！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CodeJiao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值