Parsel的使用

Parsel教程

简单应用教程具体明细用法参考（官方手册：https://parsel.readthedocs.io/en/latest/）
Scrapy选择器底层使用的就是parsel，学习parsel有助于后续学习Scrapy选择器。

1.安装

使用阿里云镜像源安装parsel

pip install -i https://mirrors.aliyun.com/pypi/simple parsel

2.初始化parsel

from parsel import Selector

html = """
<div class='wrap'>
	<div class='contains'>
		<ul>
			<li class='item-0 active'>first item</li>
			<li class='item-0'>two item</li>
			<li class='item-1'>three item</li>
			<li id='last'>last item</li>
		</ul>
		<a src='1.jpg'>test</a>
	</div>
</div>
"""

selector = Selector(text=html)

3.CSS选择器

3.1.获取指定节点

# 获取的是class为item-0的节点，最后返回的是列表形式的Selector对象
items = selector.css('.item-0')
print('获取指定节点: ', items)
# 获取多个class属性的节点
item = selector.css('.item-0.active')
print('获取多个class属性的节点: ', item)

级联关系

item = selector.css('.wrap a::text').get()
print('获取.wrap下的a标签的值： ', item)

3.2.获取文本内容

items = selector.css('.item-0::text')  # 最后获取的还是Selector对象，需要使用Selector对象的get方法获取内容
for item in items:
	print('for循环:',item.get())
# items.get() 默认返回第一个节点的文本
print('items.get: ', items.get())
print('items.getall: ', items.getall())  # 返回一个列表形式的对应节点文本

3.3.获取指定属性值

item = selector.css('a::attr(src)').get()
print('获取src属性值: ', item)
# 或者
item = selector.css('a')
print(item[0].attrib['src'])

4.XAPTH选择器

4.1.获取指定节点

item_xpaths = selector.xpath('//li')
# 根据class获取
print(selector.xpath('//li[contains(@class,"item-0")]'))
# 获取class属性有item-0并且有active的节点
print('获取class是item-0和active的节点：', selector.xpath('//li[contains(@class,"item-0") and contains(@class, "active")]'))
print(item_xpaths)

级联关系

item_xpath = selector.xpath('//div/a/text()').get()
print('获取div下a标签的内容：', item_xpath)

4.2.获取文本内容

item_text = selector.xpath('//li/text()')
print(item_text.get())

4.3.获取属性值

item_a_src = selector.xpath('//div/a/@src').get()
print('获取div下a标签的src内容：', item_a_src)
# 或者
item = selector.xpath('//a')
print(item[0].attrib['src'])

5.完整代码

from parsel import Selector

html = """
<div class='wrap'>
	<div class='contains'>
		<ul>
			<li class='item-0 active'>first item</li>
			<li class='item-0'>two item</li>
			<li class='item-1'>three item</li>
			<li id='last'>last item</li>
		</ul>
		<a src='1.jpg'>test</a>
	</div>
</div>
"""

selector = Selector(text=html)

# css
# 获取指定节点
items = selector.css('.item-0')
print('获取指定节点: ', items)
# 获取多个class属性的节点
item = selector.css('.item-0.active')
print('获取多个class属性的节点: ', item)


item = selector.css('.wrap a::text').get()
print('获取.wrap下的a标签的值： ', item)


items = selector.css('.item-0::text')  # 最后获取的还是Selector对象，需要使用Selector对象的get方法获取内容
for item in items:
	print('for循环:',item.get())
# items.get() 默认返回第一个节点的文本
print('items.get: ', items.get())
print('items.getall: ', items.getall())  # 返回一个列表形式的对应节点文本


item = selector.css('a::attr(src)').get()
print('获取src属性值: ', item)
# 或者
item = selector.css('a')
print(item[0].attrib['src'])


# xpath
item_xpaths = selector.xpath('//li')
# 根据class获取
print(selector.xpath('//li[contains(@class,"item-0")]'))
# 获取class属性有item-0并且有active的节点
print('获取class是item-0和active的节点：', selector.xpath('//li[contains(@class,"item-0") and contains(@class, "active")]'))
print(item_xpaths)


item_xpath = selector.xpath('//div/a/text()').get()
print('获取div下a标签的内容：', item_xpath)

item_a_src = selector.xpath('//div/a/@src').get()
print('获取div下a标签的src内容：', item_a_src)
# 或者
item = selector.xpath('//a')
print(item[0].attrib['src'])

item_a = selector.xpath('//a')
print(item_a[0])