Python3 Selenium+ChromeDriver抓取动态网页

最新推荐文章于 2024-09-26 21:22:03 发布

William_Dong

最新推荐文章于 2024-09-26 21:22:03 发布

阅读量6.8k

点赞数

分类专栏： Python爬虫文章标签： Python3 Selenium ChromeDriver 动态网页

本文链接：https://blog.csdn.net/dongweionly/article/details/79761797

版权

Python爬虫专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文介绍如何从使用PhantomJS+Selenium+ChromeDriver切换到仅使用Headless Chrome进行网页抓取。演示了如何配置Selenium以使用无头Chrome浏览器，并提供了具体的Python代码示例，包括启动driver、抓取数据、关闭driver等步骤。

摘要由CSDN通过智能技术生成

以前抓取动态网页是用PhantomJS + Selenium + ChromeDriver，但是新版的Selenium不支持PhantomJS了，程序跑的时候总会跳出一些warnings.

现在的操作是放弃PhantomJS，直接用headless ChromeDriver。可直接在Google主页下载个ChromeDriver，都是支持headless的。

下面的程序就是启动driver，抓取数据，关闭driver的例子。记得要关掉driver，不然会占内存。

# -*- coding: UTF-8 -*-
'''
@version: Python 3.6
@introduction:
@author: 
@date: 2018-3
'''

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 启动driver
def init_web_driver():
    global driver
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    driver_path = 'E:\chromedriver.exe'    #这里放的就是下载的driver本地路径
    driver = webdriver.Chrome(chrome_options=chrome_options, executable_path = driver_path)

# 关掉driver
def close_web_driver():
    driver.quit()

def get_data():
    driver.get('https://www.baidu.com')
  driver.implicitly_wait(10)  # wait up to 10 seconds for the elements to become available
    # ======  网页中静态部分抓取，采用BeautifulSoup去解析   
    html = driver.page_source    # 获取网页html
    html_soup = BeautifulSoup(html.text,"lxml")
    time.sleep(0.1)
    coin_list = html_soup .find(name='table', attrs={"class": "table maintable"})
    # 页面元素的提取请查看 BeautifulSoup的用法
    # ====== 网页中动态部分抓取，采用driver自带的方法
    # 下面展示的从调用百度搜索，在搜索框中输入"headless chrome"，然后获取结果。具体自行百度driver的用法
    text = driver.find_element_by_css_selector('#kw')
    search = driver.find_element_by_css_selector('#su')
    text.send_keys('headless chrome')
    # search
    search.click()
    driver.get_screenshot_as_file('search-result.png')
    results = driver.find_elements_by_xpath('//div[@class="result c-container "]')
    for result in results:
        res = result.find_element_by_css_selector('a')
        title = res.text
        link = res.get_attribute('href')
        print ('Title: %s \nLink: %s\n' % (title, link) )


if __name__ == '__main__':
    init_web_driver()
    get_data()
    close_web_driver()