进入浏览器的开发者模式(F12),选取需要获取的节点,如果我们想获取一个列表,例如:
在li节点上右键,copy->copy xpath即可获取当前节点的Xpath路径,
直接复制如下:
/html/body/div[4]/div[1]/ul/li[1]
这个不能直接使用,这个是获取了li节点第一个元素,爬虫里我们需要获取一个集合,用来for循环,所以在爬虫开头里需要修改为:
/html/body/div[4]/div[1]/ul/li
代码示例:
#-----关键代码------
def parse(self, response):
for item in response.xpath('/html/body/div[4]/div[1]/ul/li'):
movImgUrl = item.xpath('a/img/@src').extract_first() #海报地址
detailPageUrl = item.xpath("a/@href").extract_first()#详情页地址
可见,如果需要获取 a标签里的图片地址,规则是:
"a/img/@