【爬虫】selenium 获取不定页数的数据

简介：

 爬取界面的页数不知道几个；从第一个点下一页，一直到最后一页。

思路：

我们如果知道需要点下页多少次，那么就可以遍历每一页，从而获取数据。

点多少次，则需要知道确定的页数。

不定页数的情况有三种

第一个是只有一页，那么也就没有页数

如下图，为空白，没有表格

 第二个是有，但只有几个，但不够最大隐藏页数的长度

如下图，有表格，但没有 ...

 第三个是有，而且很多

如下图，有表格，有 ...

解决 ：

找特征分类

先判断有表格的xpath是否存在

不存在，就是 没有表格，是第一种情况，直接提取数据即可

可以用下面的代码判断

def iselement(browser, xpaths):
    """
    基本实现判断元素是否存在
    :param browser: 浏览器对象
    :param xpaths: xpaths表达式
    :return: 是否存在
    """
    try:
        browser.find_element(By.XPATH,xpaths)
        return True
    except exceptions.NoSuchElementException:
        return False

存在，就是第二第三种情况

XPath为表格的xpath

先用正则表达式提取 '上一页' 和 '下一页' 之间的数字

此时有两种情况

一个是只有一个元素的列表

 此时对应 思路里的第三种情况

 列表里着唯一的元素的最后一位就是我们所需要的页数

另一个是两个元素的列表

此时对应 思路里的第三种情况

 列表的最后一个元素就是我们所需要的页数

#判断最大页数
page=driver.find_element(By.XPATH,'//*[@id="root"]/div/div[1]/div/div/div[1]/div[2]/div[1]/div[2]/div/div/div/div/div[3]/div[3]/div[2]/div[3]/div[11]/div[1]/div/ul').text
print(page)
page=re.findall('\d+',page)
print(page)
if len(page)==1:
    page_max=int(''.join(page))%10
else:
    # num_list_new = page[1]
    page_max=int(''.join(page[1]))
print(page_max)

提供两个网站为例

 https://www.gaokao.cn/special/267?sort=1&special_type=3

https://www.gaokao.cn/special/354?sort=1&special_type=3