2021-04-26

Selenium的进阶操作

Selenium要在整个网页加载出来后才开始爬取内容，速度比较慢，我们可以控制Selenium控制浏览器加载的内容，从而加快Selenium的爬取速度。可以从以下三种方法来控制：
1、控制css的加载
2、控制图片文件的显示
3、控制JavaScript的运行

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chromeOptions = webdriver.ChromeOptions()
prefs = {
        'profile.default_content_setting_values': {
            'images': 2,
            'permissions.default.stylesheet':2,
            'javascript': 2
        }
    }

chromeOptions.add_experimental_option("prefs",prefs)

driver = webdriver.Chrome(chrome_options=chromeOptions)
driver.get("https://www.baidu.com/")

注控制JavaScript的运行，如果需要抓取的内容不是通过JavaScript的动态加载得到的，可以通过禁止JavaScript的执行来提高抓取的效率。因为大多数的网页会利用JavaScript异步加载很多内容