爬虫 day 05 selenium高级和实战

爬虫day 05 selenium高级和实战

selenium使用代理ip,基本配置

# 导入模块 
from selenium.webdriver import Chrome,ChromeOptions

# 1.创建配置对象
options = ChromeOptions()

# 2.添加配置
options.add_argument('--proxy-server=http://ip')  # 将代理ip加入配置中

# 3.通过指定配置创建浏览器对象
b=Chorme(options=options)
b.get(目标网站)

# 4.取消测试环境提示
options.add_experimental_option('excludeSwitches', ['enable-automation'])

# 5.取消图片加载
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

selenium等待

1.隐式等待

如果没有设置隐式等待:在通过浏览器获取标签的时候,如果标签不存在会直接报错

如果设置了隐式等待:在通过浏览器获取标签的时候,如果标签不存在,不会立马报错,而是会在指定时间范围内不断尝试重新获取标签,直到获取到标签或者超时(超时会报错)

设置一次隐式时间,作用于每次获取标签

b.implicitly_wait(时间)

2.显式等待 -直到某一个条件成立或者不成立为止

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
'''
1)创建等待对象:WebDriverWait(浏览器对象,超时时间)
2)添加等待条件:
等待对象.until(条件)  -等到条件成立为止
等待对象.until_not(条件)  -等到条件不成立为止

条件的写法:
presence_of_element_located(标签) -指定标签出现
text_to_be_present_in_element_value(标签,值)   -指定标签的value的属性值包含指定值
text_to_be_present_in_element(标签,值)  -指定标签的标签内容包含指定值