Python爬虫库之selenium使用

安装

1. 安装google浏览器，以及对应版本的驱动器chormeDriver，配置环境变量
2. 下载：https://chromedriver.chromium.org/security-considerations
3. 推荐讲driver复制到chorme所在文件目录

安装库

安装无头浏览器

https://blog.csdn.net/weixin_42657078/article/details/81544624

Chrome无头

from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 增加无头
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# 防止被网站识别
chrome_options.add_experimental_option('excludeSwitches',['enable-automation'])

browser = webdriver.Chrome(chrome_options = chrome_options)

---

打开和关闭浏览器

from selenium import webdriver
browser = webdriver.Chrome() #括号里能放绝对路径
browser = webdriver.PhantomJS() #无头浏览器的绝对路径，没调试好
browser.close()

打开网址

browser.get("")

寻找节点

node = browser.find_element_by_xpath("//span") #寻找单节点

来个例子

多借点：
node = browser.find_elements_by_xpath("//span") #寻找单节点

xpath插件：xpath helper（浏览器插件）

找到节点之后，可以通过node.text

若只想爬取静态网页，并且不想学习网页语言：text = browser.page_source

模拟在框中输入信息

input = browser.find_elementby_xpath("//input")
input.send_keys(" ") #要输入字的话

点击按钮

button = browser.find_element_by_xpath('') #找到按钮
button.click() #不推荐不稳定
browser.execute_script(""， button)

延时

browser.implicitly_wait(10) #延迟10s

鼠标操作

from selenium.we