srapy_selector_css基础语法

最新推荐文章于 2022-09-13 01:00:00 发布
最新推荐文章于 2022-09-13 01:00:00 发布
阅读量189 收藏
点赞数
分类专栏： scrapy python库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010553139/article/details/104018008
版权

CSS选择器

表达式描述例 子
*选中所有元素*
E选中E元素p
E1,E2选中E1和E2元素div,pre
E1 E2选中E1后代元素中的E2元素div p
E1>E2选中E1子元素中的E2元素div>p
E1+E2选中E1兄弟元素中的E2元素p+strong
.class选中class属性包含class的元素.info
#ID选中id属性为ID的元素#main
[ATTR]选中包含ATTR属性的元素[href]
[ATTR=VALUE]选中包含ATTR属性且值 为 VALUE的元素[method=post]
[ATTR~=VALUE]选中包含ATTR属性且值 包 含VALUE的元素[class~=clearfix]
E:nth-child(n)选中E元素，且该元素必须是父元素的第n个子元素a:nth-child(1)
E:nth-last-child(n)选中E元素，且该元素必须是父元素的**（倒数）**第n个子元素a:nth-last-child(2)
E:first-child选中E元素，且该元素必须是父元素的第一个子元素a:first-child
E:last-child选中E元素，且该元素必须是父元素的**（倒数）**第一个子元素a:last-child
E:emty选中没有子元素的E元素div:empty
E::text选中E元素的文本节点（Text Node）p::text
# 《精通 scrapy 网络爬虫》第3章 第4节（即3.4）CSS 实例
from scrapy.http import HtmlResponse

body = '''
<html>
	<head>
		<base href='http://example.com'/>
		<title>Example website</title>
	</head>
	<body>
		<div id='images-1' style="width:1230px;">
			<a href='image1.html'>Name:Image 1 <br/><img src="image1.jpg"/></a>
			<a href='image2.html'>Name:Image 2 <br/><img src="image2.jpg"/></a>
			<a href='image3.html'>Name:Image 3 <br/><img src="image3.jpg"/></a>
		</div>

        <div id="images-2" class="small">
            <a href='image4.html'>Name:Image 4 <br/><img src="image4.jpg"/></a>
			<a href='image5.html'>Name:Image 5 <br/><img src="image5.jpg"/></a>
        </div>
	</body>
</html>
'''
response = HtmlResponse(url='http://www.example.com/', body=body, encoding='utf-8')

# E:选中E元素
print('[1]==========E:选中E元素==========')
print(response.css('img')) # 等同于 print(response.xpath('//img'))
# E1,E2:选中E1和E2元素
print('[2]==========E1,E2:选中E1和E2元素==========')
print(response.css('base,title'))
# E1 E2:选中E1后代中E2元素
print('[3]==========E1 E2:选中E1后代中E2元素==========')
print(response.css('div img')) # 等同 print(response.xpath('//div//img'))
# E1>E2:选中E1元素中的E2元素
print('[4]==========E1>E2:选中E1元素中的E2元素==========')
print(response.css('body>div'))
# [ATTR]:选中包含ATTR属性的元素
print('[5]==========[ATTR]:选中包含ATTR属性的元素==========')
print(response.css('[style]')) # print(response.xpath('//div/@style'))
# [ATTR=VALUE]:选中包含ATTR属性且值为VALUE的元素
print('[6]==========[ATTR=VALUE]:选中包含ATTR属性且值为VALUE的元素==========')
print(response.css('[id="images-1"]')) # print(response.xpath('//div[@id="images-1"]'))
# E:nth-child(n):选中E元素，且该元素必须是其父元素的第n个子元素
print('[7]==========E:nth-child(n):选中E元素，且该元素必须是其父元素的第n个子元素==========')
# 选中每个div的第一个
print(response.css('div>a:nth-child(1)'))
# 选中第二个div的第一个
print(response.css('div:nth-child(2)>a:nth-child(1)'))
# E:first-child:选中E元素，该元素必须其父元素的第一个子元素
# E:last-child:选中E元素，该元素必须其父元素的倒数第一个子元素
print(response.css('div:first-child>a:first-child'))
print(response.css('div:last-child>a:last-child'))
# E::text:选中E元素的文本节点
print('[8]==========E::text:选中E元素的文本节点==========')
print(response.css('a::text').extract()) # print(response.xpath('//a/text()').extract())
---------------------------
D:\Python38\python.exe D:/Project0611/ScrapyBook/practise/scrapySelectorCSSTest.py
[1]==========E:选中E元素==========
[<Selector xpath='descendant-or-self::img' data='<img src="image1.jpg">'>, <Selector xpath='descendant-or-self::img' data='<img src="image2.jpg">'>, <Selector xpath='descendant-or-self::img' data='<img src="image3.jpg">'>, <Selector xpath='descendant-or-self::img' data='<img src="image4.jpg">'>, <Selector xpath='descendant-or-self::img' data='<img src="image5.jpg">'>]
[2]==========E1,E2:选中E1和E2元素==========
[<Selector xpath='descendant-or-self::base | descendant-or-self::title' data='<base href="http://example.com">'>, <Selector xpath='descendant-or-self::base | descendant-or-self::title' data='<title>Example website</title>'>]
[3]==========E1 E2:选中E1后代中E2元素==========
[<Selector xpath='descendant-or-self::div/descendant-or-self::*/img' data='<img src="image1.jpg">'>, <Selector xpath='descendant-or-self::div/descendant-or-self::*/img' data='<img src="image2.jpg">'>, <Selector xpath='descendant-or-self::div/descendant-or-self::*/img' data='<img src="image3.jpg">'>, <Selector xpath='descendant-or-self::div/descendant-or-self::*/img' data='<img src="image4.jpg">'>, <Selector xpath='descendant-or-self::div/descendant-or-self::*/img' data='<img src="image5.jpg">'>]
[4]==========E1>E2:选中E1元素中的E2元素==========
[<Selector xpath='descendant-or-self::body/div' data='<div id="images-1" style="width:1230p...'>, <Selector xpath='descendant-or-self::body/div' data='<div id="images-2" class="small">\n   ...'>]
[5]==========[ATTR]:选中包含ATTR属性的元素==========
[<Selector xpath='descendant-or-self::*[@style]' data='<div id="images-1" style="width:1230p...'>]
[6]==========[ATTR=VALUE]:选中包含ATTR属性且值为VALUE的元素==========
[<Selector xpath="descendant-or-self::*[@id = 'images-1']" data='<div id="images-1" style="width:1230p...'>]
[7]==========E:nth-child(n):选中E元素，且该元素必须是其父元素的第n个子元素==========
[<Selector xpath='descendant-or-self::div/a[count(preceding-sibling::*) = 0]' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='descendant-or-self::div/a[count(preceding-sibling::*) = 0]' data='<a href="image4.html">Name:Image 4 <b...'>]
[<Selector xpath='descendant-or-self::div[count(preceding-sibling::*) = 1]/a[count(preceding-sibling::*) = 0]' data='<a href="image4.html">Name:Image 4 <b...'>]
[<Selector xpath='descendant-or-self::div[count(preceding-sibling::*) = 0]/a[count(preceding-sibling::*) = 0]' data='<a href="image1.html">Name:Image 1 <b...'>]
[<Selector xpath='descendant-or-self::div[count(following-sibling::*) = 0]/a[count(following-sibling::*) = 0]' data='<a href="image5.html">Name:Image 5 <b...'>]
[8]==========E::text:选中E元素的文本节点==========
['Name:Image 1 ', 'Name:Image 2 ', 'Name:Image 3 ', 'Name:Image 4 ', 'Name:Image 5 ']

Process finished with exit code 0

更多代码

Z_sam
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
定位方法之css selector定位
谨言的博客
03-06 4408
1.css层叠样式表，修饰html或xml的文件样式，css里包含selector选择器的技术，可以选择界面上的元素（也就是我们所说的定位元素），可以像xpath一样描述元素的特征或路径。 优点是比xpath定位元素速度更快、更简洁短小，缺点是功能没有xpath强大，不能向前查找。css定位和xpath定位是相似的，所以重点掌握一个即可，建议使用xpath，了解css定位即可。 2.使用css selector定位，参数写css语法中的定位表达式 （1）语法一：find_element_by_css_sel
selenium定位之------------css_selector详解
weixin_42976139的博客
08-29 7188
css_selector Selenium官网的Document里极力推荐使用CSS locator，而不是XPath来定位元素。 原因： CSS locator比XPath locator速度快，特别是在IE下面（IE没有自己的XPath 解析器(Parser)）他比xpath更高效更准确更易编写，美中不足是根据页面文字时略有缺陷没有xpath直接。 因为前端开发人员就是用CSS Selecto...
css选择器(css Selectors)的语法分析
weixin_30354675的博客
06-08 463
css选择器分为以下几类: 1.元素选择符 Element Selectors 2.关系选择符 Relationship Selectors 3.属性选择符 Attribute Selectors 4.伪类选择符 Pseudo-Classes Selectors 5.伪对象选择符 Pseudo-Element Selectors 完整的css选择器语法格式: s1=t...
css选择器权重介绍
spider_man
10-27 262
选择器与伪元素的权重情况：高权重的选择会覆盖低权重的展示样式 选择器 表达式或示例 说明 权重 行内选择器 style="" 1000 id选择器 #aaa 100 类选择器 .aaa 10 标签选择器 h1 元素的tagname 1 属性选择器 img[alt]、div[class^='pus'] 10 相邻选择器 selecter...
Scrapy之Selector的用法
wyx1275的博客
04-26 1016
Selector的用法 Scrapy提供了自己的数据提取方法，即Selector（选择器），Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。 直接使用 Selector是一个可以独立使用的模块。我们可以直接利用Selector这个类来构建一个选择器对象，然后调用它的相关方法如xpath()、css()等来提取数据。 例如，...
css-selector
冰点契约的博客
07-03 754
css-selector语法 css_selector 样式选择器 属性精准匹配： 任意属性都可以 [属性名=值] 属性模糊匹配： [属性名 *=值] 任意一部分包含在属性值中 [属性名 ^=值] 属性以xxx开头 [属性名 $=值] 属性以xxx结尾 组合匹配：[属性=值][属性=值] [target="_blank"][href="https://www.hao123.com"] ...
【Web自动化测试】Selenium 定位方式3-css_selector
公众号已改名为-程序员阿沐
03-28 549
【Web自动化测试】Selenium 定位方式3-css_selector
获取css selector,selenium的css selector元素获取方式
weixin_31327207的博客
08-03 1657
目标站存在验证码，验证码与用户名关联；登录密码存在加密，加密方式未知(相同用户密码反复测试加密结果不一样)；无法使用burp+验证码识别爆破；只能使用selenuim+验证码识别处理；测试中发现几个密码、验证码、登录按钮没有常见的id/name/class名，平时常用的find_element_by_id、find_element_by_name、find_element_by_class_nam...
selenium爬虫入门（2）CSS Selector
little_yueyue的博客
12-14 4417
contentsCSS selector根据 tag名、id、class 选择元素选择子元素和后代元素根据属性选择组选择根据次序选择兄弟关系选择验证 CSS Selector CSS selector HTML中经常要为某些元素指定显示效果，CSS就是浏览器用来选择元素，使其具有指定显示风格。只要CSS Selector的语法是正确的， Selenium就可以选择到该元素。 通过CSS Selector选择单个元素的方法是driver.find_element(By.CSS_SELECTOR, CSS Se
十个常用的 CSS Selector
Johnny0079的博客
03-19 2780
#01 ID Selector 格式：#id值 用于选取拥有 id 这个属性，并且 id 属性值相等的 HTML 元素，例： <div id="the-id">Hello World</div> #the-id { font-size: 24px; backgroud-color: yellow; padding: 8px; } id 在整个 HTML 页面内必须是唯一的，一个 id 只能用在一个 HTML 元素上，而一个 HTML 元素也只能有一个 id #0
css selector(选择子)格式
lijiecong的专栏
07-17 1830
 common selector(通用选择子)    element/type selector:      p,h1,a{color:#444; padding:3px;}    Descendant selectors(后代选择子)   li a{color:#444; } 此样式只对 li下的 a 有效。这两种表示方法一般是对整个页面中的元素设置样式。    对于只设置部分样式的情况用cla
Selector 选择器 CSS
qq_51308613的博客
09-13 631
Java web CSS选择器使用类型
CSS选择器Selector
给你更好的
08-11 1267
目录 一、DOM 二、类选择器 类选择器示例代码 类选择器Class Selector *指定多个class 多个class选择器，后定义的优先级高 三、标签类型选择器 标签类型示例代码： 统一设定某种标签的样式 标签与类结合使用 四、ID选择器 元素的ID ID选择器 ID选择器示例代码： 五、伪类选择器 伪类选择器示例代码： 六、子选择器 子选择器示例代码...
Selector中的css选择器
deapou的博客
03-21 975
返回的数据 返回response的方法： 一般是利用requests的get方法 得到放回的response有如下几个属性： Status_code: http放回的状态码200表示成功，404表示未找到 Text：相应内容的字符串形式。url对应的页面内容 Encoding：从HTTP header中猜测相应的内容编码方式 Headers：http相应内容的头部内容 ** css选择器的实例 *...
CSS Selector的使用
NeverLate_gogogo的博客
06-20 1263
写在前面：建议不同CSS的通过去w3school去学习一下。1个小时足够。否则你就只知其然、不知其所以然。 CSS学习连接：http://www.w3school.com.cn/css/index.asp OK！正文。 CSS Selector的用法详解 １、什么是Css Selector？ Css Selector定位实际就是HTML的Css选择器的标签定位 ２、工具 Css...
元素定位之css selector(选择器定位）
热门推荐
小白笔记本
11-07 2万+
语法：find_element_by_css_selector("css选择器定位策略”) 或者 find_elements_by_css_selector("css选择器定位策略”) 1、css可以通过元素的id，class，标签这三个常规属性直接定位到 tips：若用id定位，则用#。若用class定位，则用. 下面是百度搜索框的HTML代码： 通过css selector定位有如下三种常规方式： 　 find_element_by...
selenium -- cssSelector
stafen1的博客
08-02 784
cssSelector这种元素定位方式跟xpath比较类似，但执行速度较快，而且各种浏览器对它的支持都相当到位，所以功能也是蛮强大的。 下面是一些常见的cssSelector的定位方式： 定位id为flrs的div元素，可以写成：#flrs     注：相当于xpath语法的//div[@id=’flrs’] 定位id为flrs下的a元素，可以写成 #flrs > a  注：相当
CSS selector选择符 进行CSS网页布局的基础
gigizhui的博客
09-16 410
CSS selector 选择符是我们进行CSS网页布局的基础。CSS selector到底有哪些，如何合理的运用呢？选择符可以分为三类，除了第一类HTML selector之外，其它两类我们是可以自己命名的，在进行命名时，注重包含语义，或者添加必要的注释，使我们的代码更清楚，易读。     HTML selector 标签选择符     HTML selector就是HTML
find_elements_by_css_selector
最新发布
07-27
`find_elements_by_css_selector` 是一个 Selenium WebDriver 提供的方法，用来通过 CSS 选择器定位页面上的多个元素。它会返回一个包含所有匹配的元素的列表。 下面是一个示例代码，演示如何使用 `find_elements_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值