selenium 获取href find_element_by_xpath

查询多级目录，中间用*链接：

name_cache = driver.find_element_by_xpath("//div[@class='company-list']/*/div[@class='card']")

首先

Xpath (XML Path Language)，是W3C定义的选择节点的语言

第一种：绝对位置：

   此方法比较简单，例子：

         xxx.find_element_by_xpath("/html/body/div[x]/form/input")

         //x 代表第x个 div标签（索引从1开始而不是0）

        当页面元素位置发生改变时，需要修改

第二种：相对位置：

   举例：

        xxx.find_element_by_xpath("//div[@class='meneame']/a")

        //定义class名字为meneame的div下的a标签

第三种：按照标签的属性进行定位：

    举例：

        xxx.find_element_by_xpath("//div[@class='meneame']")

        //定义class名字为meneame的div标签

第四种：选择第几个：

      //div/*[2]    选择div下第二个元素

     //div/p[position()>=2]         选择div下位置大于等于2的p标签

     //div/p[last()]    选择div下最后一个p标签

第五种：并：

      //div[@id='a' and @name='b']     选择id=a 并 class=b的div元素

第六种：父节点：

     //div[@id='a']/..    选择目标div的父节点

第七种：同级节点：

     preceding-sibling选取当前节点之前的所有同级节点

     following-sibling选取当前节点之后的所有同级节点

     用法：

          //div/following-sibling::p    选择div之后的同级的p节点   （div与p同级）
 

在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。
因此想当然的直接使用XPATH的语法进行获取属性
事例缩略后xml结构如下

<div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx>
<a href="//item.taobao.com/item.htm?spm=a21bz.7725273.1998564503.46.1Tdtjr">
    <img src="//img.alicdn.com/tps/TB1lUEgLpXXXXbzXXXXXXXXXXXX-114-114.png" class="qg-img-tag">

按照XPATH正常的语法，想要获取a标签的url也就是href的属性应该写作

//div[@class="qg-limit-list"]/a/@href

然而在使用find_elements_by_xpath一直报错，显示只能存放element而不是object。
最后的解决办法就是，这里只取到标签级，想要获取元素在之后再获取如下

xpath_urls = '//div[@class="qg-limit-list"]/a'
urls_pre = browser.find_elements_by_xpath(xpath_urls)
url = urls_pre[0].get_attribute("href")

对，就是加.get_attribute(“href”)，同理想要获得其他属性值，也可以通过他来获取。

这样也可以

page_btns = driver.find_elements_by_xpath(".//div[@class='pc-pager-wrap']/a[@class='pager-item router-link-active']")

if page_btns[-1].text=="下一页":

    new_url= page_btns[-1].get_attribute("href")

原文链接：https://blog.csdn.net/hacklyc/article/details/65454285