scrapy爬虫基础知识

一、路径表达式

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>
  <book>
    <title lang="en">Harry Potter</title>
    <author>J K. Rowling</author>
    <year>2005</year>
    <price>29.99</price>
  </book>
</bookstore> 

单斜杠和双斜杠的使用：

bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。

//book 选取所有 book 子元素，而不管它们在文档中的位置。

bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。

//@lang 选取名为 lang 的所有属性。

下标的使用：

/bookstore/book[1]     选取属于 bookstore 子元素的第一个 book 元素。

/bookstore/book[last()]     选取属于 bookstore 子元素的最后一个 book 元素。

/bookstore/book[last()-1]     选取属于 bookstore 子元素的倒数第二个 book 元素。

/bookstore/book[position()<3]     选取最前面的两个属于 bookstore 元素的子元素的 book 元素。

属性的使用：

//title[@lang]     选取所有拥有名为 lang 的属性的 title 元素。

//title[@lang='eng']     选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

/bookstore/book[price>35.00]     选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。

/bookstore/book[price>35.00]/title     选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

通配符的使用：

/bookstore/*     选取 bookstore 元素的所有子元素。

//*     选取文档中的所有元素。

//title[@*]     选取所有带有属性的 title 元素。

选取若干路径的使用：

通过在路径表达式中使用"|"运算符，您可以选取若干个路径

//book/title | //book/price     选取 book 元素的所有 title 和 price 元素。

//title | //price     选取文档中的所有 title 和 price 元素。

/bookstore/book/title | //price     选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

二、XPath 运算符

|          计算两个节点集     //book | //cd     返回所有拥有 book 和 cd 元素的节点集
+         加法        6 + 4     10
-          减法        6 - 4     2
*          乘法        6 * 4     24
div       除法        8 div 4      2
=          等于        price=9.80     如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。
!=         不等于        price!=9.80     如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
<          小于        price<9.80     如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
<=        小于或等于 price<=9.80     如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
>          大于        price>9.80     如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
>=        大于或等于 price>=9.80     如果 price 是 9.90，则返回 true。如果 price 是 9.70，则返回 false。
or         或     price=9.80 or price=9.70   如果 price 是 9.80，则返回 true。如果 price 是 9.50，则返回 false。
and      与     price>9.00 and price<9.90  如果 price 是 9.80，则返回 true。如果 price 是 8.50，则返回 false。
mod     计算除法的余数     5 mod 2  1