通过爬虫中的selenium控制chrome,Firefox等浏览器自动操作获取相关信息

 1.  首先将我们需要的selenium的包导入
     from selenium.webdriver import Chrome(如果使用chrome浏览器就导入chrome,如果使用别的浏览器则将名称换掉即可)
 2.  创建浏览器对象
     web = Chrome()
 3.  打开浏览器
     web.get("http://www.baidu.com")(此处以百度举例) 
 4.  找到某个元素. 点击它
     el = web.find_element_by_xpath('此处是xpath的地址')(xpath不了解的可以看我之前的博客)
     el.click()  # 点击事件
     
 5.  查找某些元素时,我们需要掌握前后端的一些知识,我们可以通过element,class_name,id,tag_name等,主要视情况而定

 - 6.当执行点击事件时,我们需要导入Keys
     from selenium.webdriver.common.keys import Keys
 - 7.浏览器窗口之间的切换
     web.switch_to.window(web.window_handles[-1])
     表示的是网页栏最后一个网页
     web.switch_to.window(web.window_handles[0])
     表示的是网页栏第一个网页

以下讲的是当网页中存在iframe的网页内嵌的时候:

我们先找到iframe的网址然后进行切换

web.get("")

# 处理iframe的话. 必须先拿到iframe. 然后切换视角到iframe . 再然后才可以拿数据

iframe = web.find_element_by_xpath('iframe的地址')

web.switch_to.frame(iframe)  # 切换到iframe

web.switch_to.default_content()  # 切换回原页面

无头浏览器的应用

# 准备好参数配置
opt = Options()
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")

web = Chrome(options=opt)  # 把参数配置设置到浏览器中