爬虫 零碎记录 xpath 注意事项 text()[x]可以取下标

1. refer：

        如果要实现翻页，可以在for循环外面设置第一页的refer=url主页

        然后在for循环内部设置第二页的refer=上一页的URL

2. xpath

html_data.xpath('表达式')

表达式外用单引号  

因为表达式内html的内容均为双引号 

xpath中的//表示跨节点，/表示不跨节点，元素之间的过渡  

@ 取属性  如 //div/a/@href

text（）取内容         //div/a/text()

xpath的下标是从1开始，不是从0开始 ，last（）表示最后一个元素 

text（)后面也可以跟下标，如text（）[2]，表示取text（）内容的第二部分

3.etree.html()得到的是一个etree对象

一般情况下 可以直接像字符串一样调用和处理xpath语法得到的列表中的元素  

4.re.findall（），xpath（） ，strip（）去首尾空格，replace（）字符串替换等，各种函数返回的都是新的对象，原对象对函数的调用不会更改原对象的内容 

变量 = 原对象.replace（）        ————这个过程中，原对象不变

必须要将函数的调用赋值给一个变量（可以是新的变量，也可以是自身，但是都必须要赋值，然后再调用