selenium操作一个页面的多个并列文章

---

实现目标

   
对于一个网页中有一连串的文章，想要获取这一连串的文章，通过selenium自动化实现某些功能

方法

右击网页—>检查—>找到下图目标文章块儿的部分
 
 

 

然后右击该部分代码，选择Copy—>copy full xpath（得到/html/body/div[6]/main/div[2]/div[2]）
 

然后

driver.find_element_by_xpath(‘/html/body/div[6]/main/div[2]/div[2]’)

重点

注意:
这样是不够的，因为这里的得到的xpath只是所有文章的父节点（其通过len()发现其长度只是1，所以只能自动化访问第一个页面，后面的就自动化不了），想要访问后面的文章还需在得到的xpath后面添加/div，即选取该父节点的所有div子节点（此时通过len()发现其长度就是总文章篇数了），即：/html/body/div[6]/main/div[2]/div[2]/div，然后就可以获取剩余部分的全部article了。
 

代码：

 

from selenium import webdriver
from time import sleep

i = 0
def get_all_article():
    global i
    all_articles = driver.find_elements_by_xpath('/html/body/div[6]/main/div[2]/div[2]/div')

    for article in all_articles:
        print('length of article:',len(all_articles))
        i = i + 1
        a = article.find_element_by_tag_name("a")
        href = a.get_attribute('href')
        js='window.open("'+href+'");'
        driver.execute_script(js)
        current_window = driver.current_window_handle
        allHandles = driver.window_handles
        for handle in allHandles:
            if handle != driver.current_window_handle:
                driver.switch_to.window(handle)
                break
       

最后

非常开心又给大家完成了一次分享，剩下的就是…求赞啦！！！都看到这啦，创作不易，留下你们宝贵的赞吧~
 
 

其他selenium相关内容见：https://blog.csdn.net/weixin_45386875/article/details/113933541