python网络爬虫之selenium爬取实例_pycharm selenium 获取百度热搜-CSDN博客

本文链接：https://blog.csdn.net/qq_44251163/article/details/111643085

python网络爬虫之selenium

今天终于进入到了selenium的学习，使用click()方法对百度首页进行了测试，目的是爬取全部百度热搜。

除了获取第一页展示的6个标题外，还要通过 click()方法模拟点击 “换一换” 按钮获取剩下3页的（一共4页）

注释满满的代码：

from selenium import webdriver
# 目标网址
url = 'https://www.baidu.com/'
# 驱动火狐浏览器
driver = webdriver.Firefox(executable_path='D:\develop\geckodriver.exe')
# 加载网址
driver.get(url)
# 隐式等待10s
driver.implicitly_wait(10)
number = []


def repeat():
    k = 'count'
    # 因为百度首页将热搜序号1 2 3 分别以1 3 5的序号排在list里，所以需要跨步为2进行循环
    for i in range(1, 7, 2):
        element_odd = driver.find_element_by_css_selector('li.hotsearch-item:nth-child(' + str(i) + ')')
        print(element_odd.text)
    # 与上面同理，这样在控制台输出的才是 1 2 3 4 5 6...这样的顺序 否则就是135246这样
    for j in range(2, 8, 2):
        element_even = driver.find_element_by_css_selector('li.hotsearch-item:nth-child(' + str(j) + ')')
        print(element_even.text)
        if j == 6:
        	# 每次循环完一个页面就往列表中加个字符串count
            number.append(k)
            if len(number) <= 5:
                number.append(k)
                # 通过css选择器获取 “换一换” 按钮，再通过click()模拟点击
                driver.find_element_by_css_selector('#hotsearch-refresh-btn > i:nth-child(1)').click()
                # 迭代，方法的出口是 当创建的列表的长度小于等于5
                repeat()

# 运行repeat()方法
repeat()