Parsel教程
简单应用教程具体明细用法参考(官方手册:https://parsel.readthedocs.io/en/latest/)
Scrapy选择器底层使用的就是parsel,学习parsel有助于后续学习Scrapy选择器。
1.安装
使用阿里云镜像源安装parsel
pip install -i https://mirrors.aliyun.com/pypi/simple parsel
2.初始化parsel
from parsel import Selector
html = """
<div class='wrap'>
<div class='contains'>
<ul>
<li class='item-0 active'>first item</li>
<li class='item-0'>two item</li>
<li class='item-1'>three item</li>
<li id='last'>last item</li>
</ul>
<a src='1.jpg'>test</a>
</div>
</div>
"""
selector = Selector(text=html)
3.CSS选择器
3.1.获取指定节点
# 获取的是class为item-0的节点,最后返回的是列表形式的Selector对象
items = selector.css('.item-0')
print('获取指定节点: ', items)
# 获取多个class属性的节点
item = selector.css('.item-0.active')
print('获取多个class属性的节点: ', item)
级联关系
item = selector.css('.wrap a::text').get()
print('获取.wrap下的a标签的值: ', item)
3.2.获取文本内容
items = selector.css('.item-0::text') # 最后获取的还是Selector对象,需要使用Selector对象的get方法获取内容
for item in items:
print('for循环:',item.get())
# items.get() 默认返回第一个节点的文本
print('items.get: ', items.get())
print('items.getall: ', items.getall()) # 返回一个列表形式的对应节点文本
3.3.获取指定属性值
item = selector.css('a::attr(src)').get()
print('获取src属性值: ', item)
# 或者
item = selector.css('a')
print(item[0].attrib['src'])
4.XAPTH选择器
4.1.获取指定节点
item_xpaths = selector.xpath('//li')
# 根据class获取
print(selector.xpath('//li[contains(@class,"item-0")]'))
# 获取class属性有item-0并且有active的节点
print('获取class是item-0和active的节点:', selector.xpath('//li[contains(@class,"item-0") and contains(@class, "active")]'))
print(item_xpaths)
级联关系
item_xpath = selector.xpath('//div/a/text()').get()
print('获取div下a标签的内容:', item_xpath)
4.2.获取文本内容
item_text = selector.xpath('//li/text()')
print(item_text.get())
4.3.获取属性值
item_a_src = selector.xpath('//div/a/@src').get()
print('获取div下a标签的src内容:', item_a_src)
# 或者
item = selector.xpath('//a')
print(item[0].attrib['src'])
5.完整代码
from parsel import Selector
html = """
<div class='wrap'>
<div class='contains'>
<ul>
<li class='item-0 active'>first item</li>
<li class='item-0'>two item</li>
<li class='item-1'>three item</li>
<li id='last'>last item</li>
</ul>
<a src='1.jpg'>test</a>
</div>
</div>
"""
selector = Selector(text=html)
# css
# 获取指定节点
items = selector.css('.item-0')
print('获取指定节点: ', items)
# 获取多个class属性的节点
item = selector.css('.item-0.active')
print('获取多个class属性的节点: ', item)
item = selector.css('.wrap a::text').get()
print('获取.wrap下的a标签的值: ', item)
items = selector.css('.item-0::text') # 最后获取的还是Selector对象,需要使用Selector对象的get方法获取内容
for item in items:
print('for循环:',item.get())
# items.get() 默认返回第一个节点的文本
print('items.get: ', items.get())
print('items.getall: ', items.getall()) # 返回一个列表形式的对应节点文本
item = selector.css('a::attr(src)').get()
print('获取src属性值: ', item)
# 或者
item = selector.css('a')
print(item[0].attrib['src'])
# xpath
item_xpaths = selector.xpath('//li')
# 根据class获取
print(selector.xpath('//li[contains(@class,"item-0")]'))
# 获取class属性有item-0并且有active的节点
print('获取class是item-0和active的节点:', selector.xpath('//li[contains(@class,"item-0") and contains(@class, "active")]'))
print(item_xpaths)
item_xpath = selector.xpath('//div/a/text()').get()
print('获取div下a标签的内容:', item_xpath)
item_a_src = selector.xpath('//div/a/@src').get()
print('获取div下a标签的src内容:', item_a_src)
# 或者
item = selector.xpath('//a')
print(item[0].attrib['src'])
item_a = selector.xpath('//a')
print(item_a[0])