1.please use find_element instead find_element_by_XXX
(这年头人不停内卷,连selenium库也卷起来了)
就像这样给你一条杠杠
然后告诉你已经过时了
然后你就得这么用
from selenium.webdriver.common.by import By
driver.find_element(By.元素名称(大写), '元素内容')
2.模拟登录过滑块时出现,一直被要求重新刷新
像这样的
代码如下
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
sever = Service('./chromedriver_win32/chromedriver.exe')
options = webdriver.ChromeOptions()
options.add_argument(
"user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
)#即告诉服务器,我们不是非爬虫
driver = webdriver.Chrome(service=sever, options=options)
url = 'https://www.aliexpress.com/?spm=a2g0o.productlist.1000002.1.51c830430FR7bn'
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""
})#具体上就是防止服务器查出我们是webdriver
driver.get(url)
execute_cdp_cmd(self, cmd, cmd_args)用来执行Chrome开发这个工具命令。 cdp即Chrome DevTools Protocal, Chrome开发者工具协议,API文档
至于为何这么写我也不是很清楚,请自行研究
3.过验证码时找不到元素
就像这样的滑块
欸嘿,机智的我刚一遇到这问题就想到了度娘,然后看见一个大爷说要转到frame
这是那大爷的代码
iframe = driver.find_element_by_xpath('//iframe') # 找到“嵌套”的iframe driver.switch_to.frame(iframe) # 切换到iframe
然后,想也不想就直接用了
然后我就麻了,一直找不到元素
如果你跟我一样,直接用的话,就可能无限看到这报错
或这样
不过大爷的思路没问题, 找到“嵌套”的iframe
不过我们需要找到对应网页的iframe
操作如下
1.检查当前网页 | 选中出现验证码的位置 |
2.往前翻 | 找到 '<iframe ' 字段 找到 id 字段 |
3.写代码 | 然后就是By.ID |
啊哈哈哈,后面仔细看了下,大爷写的是By.XPATH,我给写成了By.CLASS_NAME
尴尬,尴尬,属实尴尬,大爷的代码没任何毛病,完全能用
我的就算是另一种方法,也能用
time.sleep(5)#这给了个直接等待5秒,是为了等那个验证条出来
driver.find_element_by_id('baxia-dialog-content')
iframe = driver.find_element(By.ID, 'baxia-dialog-content')#我写的
# iframe = driver.find_element(By.XPATH, '//iframe')#大爷写的,都能用哈
然后关键就来了,你得将driver 切换到iframe ,否则还是找不到滑块
4.找不到滑块问题
按这个来操作基本就行了
from selenium.webdriver import ActionChains #导入这么个库
time.sleep(3)#停一下,给个时间去反应
iframe = driver.find_element(By.ID, 'baxia-dialog-content') # 找到“嵌套”的iframe
driver.switch_to.frame(iframe) # 切换到iframe
time.sleep(3)#停一下,给个时间去反应
button = driver.find_element(By.ID, 'nc_1_n1z') #找到滑块
ActionChains(driver).click_and_hold(button).perform() #点他并保持着
ActionChains(driver).move_by_offset(298, 0).perform()
#滑动到啥位置,move_by_offset(298, 0)参数是坐标(X,Y)
time.sleep(1)
如果没得任何反应,请自己微调,或者手动滑动滑条,欸嘿嘿嘿
5.各种稀奇古怪的配置(直接看吧)
直接上代码
s=selenium.webdriver.chrome.service.Service(r".\chromedriver_win32\chromedriver.exe")
#告诉python你的chromedriver的位置
option = webdriver.ChromeOptions()#创建设置项
option.add_experimental_option('excludeSwitches', ['enable-automation'])#忘了
option.add_argument('--disable-blink-features=AutomationControlled')#忘了
option.add_argument("--no-sandbox")#忘了
option.add_experimental_option('useAutomationExtension', False)#忘了
option.add_argument('-kiosk')#忘了
option.add_argument('--disable-gpu')#防止浏览器本身的某些出错,具体自己查查看
option.add_argument('--headless')#无头浏览
option.add_argument('--start-maximized')#全屏
#browser_locale = 'fr'
#option.add_argument("--lang={}".format(browser_locale))#我自己都没搞懂,反正也没用到
option.add_argument('blink-settings=imagesEnabled=false')#无图浏览
option.add_argument("--window-size=1920,1080")#设置浏览器窗口大小
option.add_argument(
"user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36")#表明来源
option.add_argument(r'user-data-dir='
'C:\ProgramFiles\Google\Chrome\Application\95.0.4638.69\WidevineCdm\_platform_specific'
)
#配置本地配置
#user-data-dir=这里填写你自己的浏览器配置地址
driver = webdriver.Chrome(service=s, options=option)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""
})#防止被检测
额外补充raise WebDriverException(
selenium.common.exceptions.WebDriverException: Message: The executable chromedriver.exe needs to be available in the path.
This method needs to be implemented in a sub class
出现这种错误,就是让你别用我说的Service直接去掉,我更新了win11,可能是这玩意儿的锅,看情况用吧把ChromeDriver.exe更新到最新更新地址(我这个巨快)
放到python安装地址
或者使用executable_path="ChromeDriver.exe路径名",
第二种情况虽然会报错,但对程序无影响,可以用异常处理跳过 还有,你可以试着更新selenium库(应该有用)
6.总结
爬虫写的好,牢饭吃地饱
看到这你还不点个赞嘛(球球了)