爬虫07-Xpath使用（简）

1. 什么是xpath

xml是用来存储和传输数据的,和html的不同有两点：

1. html用来显示数据，xml用来传输数据
2. html的标签是固定的，xml标签是可以自定义的
   (二者写法、结构基本相同，所以xpath能在html中搜索内容)

Xpath是一门在XML文档中查找信息的语言，是一种路径表达式。

主要用的节点：元素、属性、文本。

常用的路径表达式：

//   不考虑位置，从匹配选择的当前节点选择文档中的节点
./   从当前节点开始往下查找
../   从当前节点的父节点查找
@     选择属性

选择实例：

/bookstore/book：选择节点bookstore下的book(直接子节点)

//book       : 所有book

bookstore//book ：查找bookstore下面所有的book(不管是不是子节点)

//@lang :选取名为lang的节点

/bookstore/book[1] ：bookstore下的第一个book（直接子节点）

/bookstore/book[last()] ：bookstore下的最后一个book（最后一个子节点）

/bookstore/book[position()<3] ：提取前两个

//title[@lang='eng']  ：查找带有lang属性的title,属性值还需要为eng

* 任何元素节点

2. Xpath插件

Xpath使用神器！
下载Xpath Helper插件，安装在Chrome浏览器扩展程序内，即可使用。
（好多大神们有介绍插件安装使用，这里略过）

2.1 定位方式

（1）层级和索引定位：

1. 属性定位： //input[@id="kw"] 
   或者  //input[@class="btn self-btn bg s_btn"]

2. 层级+属性+索引定位： //div[@id="head_wrapper"]/div/div[1]/a
（这里索引从1而不是0开始，例子只是为了展示索引应用）

3. 灵活使用双斜杠//,代表节点下所有的节点，不管位置！

（2）逻辑运算

一般使用and,限制两个属性，找相应节点

（3）模糊匹配

contains :
    //input[contains(@class,'s_i')] 
    表示选择所有input，有class属性，并带有s_i
starts-with : 
    //input[starts-with(@class,'s')]  
    表示选择所有input，有class属性，并以s开头

2.2 取文本

//div[@id="s-top-left"]/a[5]/text()    获取节点内容
//div[@id='ul']//text()    获取节点里面不带标签的所有内容

2.3 取属性

//div[@id="s-top-left"]/a[5]/@href

3. 初始化

可被解析的有字符串（string）和html文件（filename.html）

3.1 字符串

以下面一段html为例：

res = '''
<div class="info">
         <div class="hd">
            <a href="https://movie.douban.com/subject/1316510/" class="">
                <span class="title">张三李四</span>
                        <span class="title"> / 王五赵六</span>
                    <span class="other class-1" name="item"> / 钱包  /  口袋</span>
            </a>
                <span class="playable">[可]</span>
        </div></div>
'''

调用HTML方法初始化字符串（string）:

from lxml import etree
html=etree.HTML(res)   #调用HTML方法初始化字符串（string）

#html=etree.tostring(html)    #调用tostring()方法可补全未闭合的标签
#print(html.decode('utf-8'))  #以字符串的格式打印

查找文本内容：

spans=html.xpath('//span')
for span in spans:
    print(span.text)

3.2 html文件

文件导入即可

from lxml import etree
html=etree.parse('text.html',etree.HTMLParser())#调用parse()方法实例化文件
result=html.xpath('匹配规则')