爬虫:信息的抽取

使用xpath 和 cssselect进行信息抽取

使用xpath

• 什么是xpath
  • xml中, 通向某个节点的一个路径,例如: //div/ul/li/a, 例子中为通向a节点的一个路径
• 基本用法
  • 取出所有的li中的a节点的内容

import lxml.html
# lxml.html.fromstring 解析出的第一个节点是根节点
parse_result = lxml.html.fromstring(test_data)
elements = parse_result.xpath("//div/ul/li/a")
for e in elements:
	print(e.text)

• 路径中 // 和 / 的区别
  • ‘//’ 表示选中某个标签的所有后代, 例如"//div//a", 选中div后代的所有a标签, 不管层次有多深
  • “/” 表示只选中某个标签的直系后代, 例如"//div/a", 只选中div儿子标签中为a的, 只能一层间隔
• 递进方式的解析

parse_result = lxml.html.fromstring(test_data)
a_elements = parse_result.xpath("//book")
print(a_elements)

# 注意在双斜线路径前的"."号表示当前路径
for a in a_elements:
	print(a.xpath(".//title")[0].text

• 选出某个属性

a_elements = parse_resu