Python爬虫之bs4与xpath简单理解

最新推荐文章于 2024-10-17 15:16:02 发布
最新推荐文章于 2024-10-17 15:16:02 发布
阅读量1.3k 收藏 7
点赞数 1
文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apple_73959427/article/details/128009706
版权

bs4：

bs4对应英文为Beautiful Soup，美丽的汤，不知道为啥取这名。

bs4在使用前需要下载，在终端中使用pip install bs4即可

pip install bs4

bs4用来 从网页里面提取数据，可以导航网页中的数据以及进行搜索与修改分析等。相比xpath简洁明了不少。

bs4自动将输入文档转换为unicode编码，输出文档转换为utf-8编码。

直接上栗子：

#导入所需的库
import requests
import bs4
#选择要抓取的网页
url = 'https://movie.douban.com/top250'
resp = requests.get(url，headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.52'})
#创建一个BeautifulSoup对象
soup = bs4.BeautifulSoup(resp.text,'html.parser')#这里不创建文档来显示最终数据，直接将数据在python中输出
#div是数据所在标签，class是数据属性，这里使用class_是为了区分python中的class
targets = soup.find_all('div',class_='hd')#使用find_all查找所有目标内容
for each in targets:
    print(each.a.span.text)

使用一个爬取豆瓣电影排行榜的例子来掌握bs4的简单使用

bs4.BeautifulSoup(resp.text,'html.parser')这里有两个参数，一个是resp.text，也就是我们所需的数据文本内容，第二个参数是html.parser

html.parser是bs4自带的解析器，直接用就好

运行效果：

肖申克的救赎
霸王别姬
阿甘正传
泰坦尼克号
这个杀手不太冷
美丽人生
千与千寻
辛德勒的名单
盗梦空间
星际穿越
楚门的世界
忠犬八公的故事
海上钢琴师
三傻大闹宝莱坞
机器人总动员
放牛班的春天
无间道
疯狂动物城
大话西游之大圣娶亲
控方证人
熔炉
教父
当幸福来敲门
触不可及
怦然心动

关于bs4还有许多内容，只能以后再学了（狗头）

xpath：

xpath用来在HTML中查找信息，关于HTML还有一些简单介绍：

在HTML中有许多节点，每个节点下又有许多子节点，上一个节点称下一个的父节点，同一等级之间叫同胞节点

xpath同样需要在python中下载第三方库，与bs4一样在终端中使用如下命令

pip install lxml

xpath用法：

首先构造出etree对象

form lxml import etree

例如我们要提取book节点下的nick里面的内容只需：
 

tree = etree.XML(xml)
res = tree.xpath('/book/nick/text()')

HTML语言相当于xml文档的子集

在使用python进行网页数据提取时使用xpath非常好用。

在网页中如何使用xpath：

首先在网页中右键，打开检查，然后使用ctrl+f打开xpath进行查找

 

 

落笔生发
关注
手把手教你使用python爬虫之xpath
景天科技苑
12-29 9929
xpath表达式如何理解？html中的标签是遵从树状结构的。切记:xpath表达式中最好不要出现tbody标签，因为tbody标签可能是浏览器加的，可以通过查看网页源代码判断是否是真实的tbody！tbody可能是源代码自带的，也有可能是浏览器添加的可以通过右键，查看页面源代码，确定tbody是不是浏览器添加的，如果源代码中有tbody，那就时源代码中包含的如果没有那就是浏览器添加的使用方法。
Python爬虫数据解析（聚焦爬虫） 正则、BS4、Xpath
qq_38232003的博客
12-08 796
数据解析（聚焦爬虫） 聚焦爬虫：爬取页面中指定的页面内容。 聚焦爬虫的编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 建立在通用爬虫基础之上，先爬取整个页面，之后进行指定局部的数据进行提取。这个提取的过程就称之为数据解析 数据解析分类： 正则 bs4 Xpath（最通用的，重点） 数据解析原理： 解析的局部内容基本上会存储在标签之间或标签的属性中； 进行指定的标签定位 标签之间或标签的属性中存储的数据进行提取（解析） 爬取图片数据 content 二进制数据 text 文
python中XPath与bs4的简单使用
j123__的博客
09-08 3982
XPath是XML路径语言，它是一种用来确定XML文档中某部分位置的语言。 在python爬虫方面的学习中，xpath至关重要，它与正则相比具有明显的优势。下面将介绍在python中xpath的简单使用。 安装方法不必多说，与其他第三方库的安装方法一样，使用pip安装。 使用方式 首先需要导入库 import lxml.html 接下来就是使用了，话不多说，上代码 # 使用方式介...
【Python爬虫】数据解析之bs4解析和xpath解析
热门推荐
一以贯之的努力 不得懈怠的人生
08-09 1万+
bs4 解析比较简单，但是呢，我们需要了解一些基础的前端知识，然后再使用 bs4 去提取，逻辑就会清晰很多，编写难度也会大大降低。HTML（Hyper Text Markup Language）超文本标记语言，是我们编写网页的最基本同时也是最核心的一种语言，其语法规则就是用不同的标签对网页上的内容进行标记，从而使网页显示出不同的展示效果。...
Python-xpath与bs4
新阿巴阿巴
01-15 397
一、介绍 均是解析HTML文件的工具 服务器响应文件、本地文件都可以解析 二、xpath 1. 安装xpath模块 ''' 1、安装 pip install lxm 2. 导入 from lxml import etree ''' 2. 浏览器插件——xpath调试工具的安装 ''' 1. 介绍 这仅仅是一个调试工具，如不需要，完全可以跳过 在浏览器实时调试xpath语句的浏览器插件 2. 安装 链接：https://pan.baidu.com/s/15CO
python xpath语法-Python爬虫——bs4、xpath基本语法
weixin_37988176的博客
11-01 199
数据解析原理标签定位提取标签、标签属性中存储的数据值bs4数据解析的原理：实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取环境安装：pip install bs4pip install lxml如何实例化BeautifulSoup对象：from bs4 import BeautifulSoup...
Python 爬虫知识简述（bs4解析与xpath）
c1298533863的博客
10-21 336
Python 爬虫知识简述（bs4解析与xpath） bs4数据解析 -数据解析的原理 1.实例化一个BeautifulSoup对象，并且将页码数据加载到该对象中 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 -环境安装 pip install bs4 pip install lxml -如何实例化BeautifulSoup对象 -from bs4 import BeautifulSoup **-对象实例化：** -1.将本地的html文档中的数据加载
python爬虫之bs4解析和xpath解析
m0_52656075的博客
02-12 1900
bs4解析 原理: 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 如何实例化BeautifulSoup对象: from bs4 import BeautifulSoup BeautifulSoup(参数一,参数二) 参数一为文件描述符，参数二为解析器，一般为’lxml’ 一对象的实例化: 1.将本地的html文档中的数据加载到该对象中 fp = open( './test.html
python爬虫实战开发之bs4应用和xpath结合实战操作.zip
最新发布
11-15
bs4和xpath在Python爬虫实战开发中各有优势，它们的结合使用可以显著提高数据抓取的效率和质量。开发者应当在理解它们各自特性的基础上，灵活运用这些技术，以应对复杂多变的网络数据抓取需求。
python 爬虫 入门 二、数据解析（正则、bs4、xpath）
i道i的博客
10-17 1686
上一节我们已经知道了如何向服务器发送请求以获得数据，今天我们就来学习如何从获得的数据中找到自己需要的东西，使用数据解析的三种工具：正则、bs4、xpath。我们今天来试试国家数据网页，尝试获取投入产出表框里面所有链接的url。
【Python爬虫】数据解析之bs4解析和xpath解析_bs4 xpath(1)
2401_84160361的博客
04-17 853
超文本标记语言，是我们编写网页的最基本同时也是最核心的一种语言，其语法规则就是用不同的标签对网页上的内容进行标记，从而使网页显示出不同的展示效果。” 标记了，这个时候，浏览器在展示的时候就会让里面的内容，也就是 ”数据解析“ 这。的语法就是用类似这样的标签对页面内容进行标记，不同的标签表示出来的效果也是不一样的。标签，都是一级标题，但是下面这个会显示在右边，也就是说，通过这种形式对。其实不是，我们要抓取的是点击图片进入的页面的高清图片，也就是如下。好的，标签我们明白了，接下来就是属性了。
c++ STL迭代器实例_c++ 迭代器 样例代码
2401_84617969的博客
04-26 513
【代码】c++ STL迭代器实例_c++ 迭代器 样例代码。
【Python爬虫】数据解析之bs4解析和xpath解析_bs4 xpath
2401_84160361的博客
04-17 918
标签，都是一级标题，但是下面这个会显示在右边，也就是说，通过这种形式对。你也可以对代码进行改进，抓取多页数据，但个人建议不要将全部数据都抓取下来。其实不是，我们要抓取的是点击图片进入的页面的高清图片，也就是如下。这里是因为我的编译器设置了背景，图片效果不是特别好，还行。好的，有了这些基础知识后，我们就可以开始了解。的基本语法来进行使用，通过案例来学会使用。文档中对元素和属性进行遍历，而我们熟知的。中被称为标签的属性，并且属性可以有很多个。就是通过标签和属性去定位页面上的内容的。的一个子集，所以完全可以用。
python爬虫-bs4和xpath简单使用
lubuhan的博客
10-18 448
python爬虫-bs4和xpath的简单使用
python数据解析（bs4\xpath）
Al_lover的博客
06-01 790
概念：可以将爬取到的数据中指定的数据进行单独提取。作用：实现聚焦爬虫。
xpath和bs4解析
02-24 576
xpath和bs4的使用感受
python爬虫三(bs4，xpath解析)
qq_37623764的博客
04-14 1316
数据解析器： 我们前面都是爬的整个页面。对返回json串的地址我们可以直接json()拿： # 通过json() requetss.get('https://www.sogou.com/websearch/api/getcity').json() 但是如果是返回的是页面不是json数据，就用content.decode(),目前我们只能通过正则来拿取页面中想要的元素值，比如前面拿src2(很多图...
【笔记】Python爬虫之Xpath、BS4解析
weixin_52002180的博客
04-21 260
【代码】【笔记】Python爬虫之Xpath、BS4解析。
python爬虫bs4 xpath数据解析
qq_45040551的博客
01-15 197
数据解析 在爬取网页后，通常需要将爬取到的内容进行分割提取，拿到我们想要的文本内容或者相应的地址url。 bs4数据解析 安装bs4模块，并导入 from bs4 import BeautifulSoup 步骤详情见注释 fp =open('/.test.html','r',encoding='utf-8') #将本地的html文档中的数据记载到该对象中 soup =BeautifulSoup(fp,'lxml') print(soup.a)# 结果拿到a标签内容 soup.tagn
python爬虫bs4、xpath
09-03
Python爬虫中的bs4和xpath是两种常用的数据提取工具。 bs4（Beautiful Soup 4）是一个基于Python的库，用于解析HTML和XML文档。它能够帮助我们从网页中提取数据并进行处理。bs4提供了一些简单且易于使用的方法，例如通过标签名、类名、属性等进行查找和筛选数据。 下面是一个简单的使用bs4进行数据提取的例子： ```python from bs4 import BeautifulSoup import requests # 发送HTTP请求获取页面内容 url = "http://example.com" response = requests.get(url) html_content = response.content # 使用bs4解析页面内容 soup = BeautifulSoup(html_content, 'html.parser') # 提取数据 title = soup.title.text print("网页标题：", title) # 查找某个标签并获取其文本内容 h1 = soup.find("h1") print("h1标签内容：", h1.text) # 查找所有的链接并输出链接文本和URL links = soup.find_all("a") for link in links: print("链接文本：", link.text) print("链接URL：", link["href"]) ``` 另一方面，XPath是一种用于选择XML文档中节点的语言。在爬虫中，我们可以使用XPath来从HTML或XML文档中提取数据。XPath提供了强大且灵活的选择器，可以使用路径表达式来定位节点。 下面是一个使用XPath进行数据提取的示例： ```python import requests from lxml import etree # 发送HTTP请求获取页面内容 url = "http://example.com" response = requests.get(url) html_content = response.content # 使用lxml解析页面内容 tree = etree.HTML(html_content) # 提取数据 title = tree.xpath("//title/text()")[0] print("网页标题：", title) # 查找某个标签并获取其文本内容 h1 = tree.xpath("//h1/text()")[0] print("h1标签内容：", h1) # 查找所有的链接并输出链接文本和URL links = tree.xpath("//a") for link in links: link_text = link.xpath("text()")[0] link_url = link.xpath("@href")[0] print("链接文本：", link_text) print("链接URL：", link_url) ``` 以上就是使用bs4和XPath进行数据提取的示例代码。希望能帮助到你！如有需要，请随时追问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值