使用BeautifulSoup中的select选择器定位数据

最新推荐文章于 2024-07-17 14:11:27 发布
最新推荐文章于 2024-07-17 14:11:27 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： Python 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42240667/article/details/98034633
版权

定位数据时需要使用浏览器的开发者模式，将鼠标定位停留在对应的数据位置并右击，然后在快捷菜单中选择“检查”命令（这里应浏览器而变，例如我的搜狗浏览器是叫审查元素）
下面的例子采用中国旅游网
在这里插入图片描述
接下来右侧会弹出开发者界面，右侧高亮代码对应前面数据位置，在弹出的快捷菜单中选择’Copy’ > 'Copy Selector’命令，便可以自动复制路径，然后粘贴即可
在这里插入图片描述
下面放下获取所有头条新闻的代码

import requests
from bs4 import BeautifulSoup  #从bs4库中导入Beautiful Soup
url ='http://www.cntour.cn/'
strhtml = requests.get(url)
soup = BeautifulSoup(strhtml.text,'lxml')  #lxml解析网页文档
data= soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')
#获取数据，其中select中的参数就是前面获取的路径
print(data)
哦啦哦啦！
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
beautiful soup 4.0（bs4）使用css选择器搜索文档树（4）
amao1998的博客
09-12 1572
1、概述 上一篇文章中主要介绍了使用bs4搜索文档树，主要使用find与find_all方法。但这种搜索的方法主要专注于标签以及标签的属性。其实在html中可以被用来作为元素选择器的还有一种就是CSS，在css的任何版本中都有选择器的相关定义。在很多框架中我们都是用css的选择器来定位元素的。同样在bs4中，同样提供了一整套基于css的方法来选择元素。 2、使用css选择器来搜索文档树 在 ...
强大的BeautifulSoup select选择器
weixin_43837855的博客
06-12 1149
select的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器 通过标签查找，返回含有此标签的语句会按照列表的形式返回 print(soup.select('title')) print(soup.select('meta')) print(soup.select('h3')) 输出： [<title>百度新闻——海量中文资讯平台</title>] [<meta content="text/html;charset
python爬虫：BeautifulSoup 使用select方法的使用
sym的博客
08-23 2万+
1 html = """ 2 html>head>title>The Dormouse's storytitle>head> 3 body> 4 p class="title" name="dromouse">b>The Dormouse's storyb>p> 5 p class="story">Once upon a time there were three little siste
bs4取值技巧的详细介绍
最新发布
weixin_43822401的博客
07-17 711
希望以上信息对您有所帮助！
BeautifulSoup select函数
weixin_43765541的博客
05-22 600
其中，`soup`是BeautifulSoup对象，`selector`是一个字符串，表示要选择的元素的CSS选择器。- 选择后代元素：`ancestor descendant`，例如`body p`（选择body元素下的所有p元素）- 选择类名：`.class`，例如`.container`、`.title`- 选择ID：`#id`，例如`#header`、`#content`- 选择元素类型：`tag`，例如`div`、`p`、`a`这将打印所有匹配选择器条件的`h1`元素的文本内容。
Beautiful Soup的用法（五）：select的使用
热门推荐
haleycat的博客
03-07 3万+
原文地址：http://www.bugingcode.com/blog/beautiful_soup_select.html select 的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器，如果之前有接触过jquery ，可以发现select的选取规则和jquery有点像。 通过标签名查找 在进行过滤时标签名不加任何修饰，如下...
【学习笔记】爬虫（Ⅲ）—— BeautifulSoup和CSS选择器
Eddie_hyh的博客
04-24 992
爬虫第三部分：beautifulsoup和css选择器
python爬虫之BeautifulSoup 使用select方法详解
09-21
`select`方法作为`BeautifulSoup`中一种强大的选择器，能够帮助开发者更加灵活地定位和提取网页中的元素。本文将详细介绍`select`方法的使用方法及其应用场景。 #### 1. `select`方法简介 `select`方法允许用户...
Python BeautifulSoup4 select方法执行css选择器
FengShanChuiChui的博客
06-09 1万+
初识爬虫，使用urllib结合强大的BeautifulSoup简单写了下代码。看参考书上主要讲解了find方法的使用，但发现其是还支持css选择器语法选择，于是试验了一下。环境为：ubuntu12.04 + pycharm2017.1.3 + python3.6 + urllib + beautifulsoup4构造BeautifulSoup对象首先，我是以爬取搜狗搜索的主页来试验的。其结构大概如此
python BeautifulSoup 中 select 选择第二个
05-28
你可以使用 CSS 选择器语法中的 `:nth-of-type()` 伪类来选择第二个元素。例如，如果你想选择 HTML 文档中所有的 `div` 元素中的第二个，你可以使用以下代码： ```python from bs4 import BeautifulSoup ...
BeautifulSoup 使用select方法详解
fireflylane的博客
11-25 1865
html = """ &lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse's story&lt;/title&gt;&lt;/head&gt; &lt;body&gt; &lt;p class="title" name="dromouse"&gt;&lt;b&gt;
python-爬虫 BeautifulSoup中selector使用
爱吃辣椒的锅包肉
09-04 1397
selecto内容寻找方法: 1)打开Chrome浏览器,鼠标定位在需要提取的数据,右击,在弹出的快捷菜单中选择"检查"命令。 2)在网页源码中右击所选元素。 3)在弹出的快捷菜单中选着Copy selector。 import requests from bs4 import BeautifulSoup headers = { 'User-Agent':'Mozilla/5.0 (Win...
python爬虫：BeautifulSoup 使用select方法详解
起当风萧的博客
04-06 1万+
转载自 （“**[https://www.cnblogs.com/yizhenfeng168/p/6979339.html](https://www.cnblogs.com/yizhenfeng168/p/6979339.html)**”）。 ```html 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p...
python爬虫：BeautifulSoup 使用select方法详解（转载）
shen8686的专栏
07-07 7056
转自：https://www.cnblogs.com/yizhenfeng168/p/6979339.html我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list（1）通过标签名查找 print soup.select('title') #[&lt;title&gt;The ...
python学习之 beautifulsoup选择器
sentimental_dog的博客
09-24 9859
来源：官方文档 http://beautifulsoup.readthedocs.io/zh_CN/latest/ 如何使用 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. from bs4 import BeautifulSoup soup = BeautifulSoup(open("index.
python使用beautifulsoup中select方法爬虫时使用join和split方法配合处理特殊字符
weixin_55579895的博客
10-26 617
问题参考 python如何去掉字符串‘\xa0’ Python split()方法 Python join()方法 python中join()函数的使用方法 问题背景 使用python对百度网页进行爬取时，爬取的摘要标签中，时间和文章内容在同一标签下，但属于同一标签，抓取的数据本身如果有空格，在编译的时候会输出字符\xa0 ，使用join和split的组合方法去掉 想要爬取目标数据： 使用beautifulsoup的select方法爬取出来的效果如下： 想要的输出的结果： 问题解决 使用join和sp
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值