本来在本地运行好好的scrapy,结果移植到docker中就报错,完整报错是:selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id
大家可以在控制台搜索一下是否同时有这个报错:selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
解决方法
在启动selenium
时添加选项:
option.add_argument('--no-sandbox')
option.add_argument('--disable-dev-shm-usage')
完整的启动selenium
的示例如下:
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--disable-gpu')
option.add_argument('lang=zh_CN.UTF-8')
option.add_argument('headless') # 无头浏览器
option.add_argument('--no-sandbox') # 必要!!
option.add_argument('--disable-dev-shm-usage') # 必要!!
prefs = {
"profile.managed_default_content_settings.images": 2, # 禁止加载图片
# 'permissions.default.stylesheet': 2, # 禁止加载css
}
option.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(chrome_options=option)
driver.get("https://www.baidu.com")
print(driver.page_source)
问题解析
其实这个报错是可见的报错,在这之前还有一个不容易被察觉的报错:
selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
from unknown error: cannot determine loading status
from tab crashed
(Session info: headless chrome=94.0.4606.54)
而问题的根源就是这个报错:selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
- 报错原因是:
session deleted because of page crash
,可知是page crash - 页面崩溃导致chrome虽然启动了,但是却意外退出了,
- 这时,当程序使用
selenium
调用一个崩溃了的chrome时,就会有报错:selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id
这里大家可以做一个实验:
本机启动selenium的driver后,使用driver.quit(),手动让driver退出,再执行driver.get(“https://www.baidu.com”)
这时就会得到同样的报错:selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id
原因就是因为driver在得到页面前driver就 退出了/崩溃了/逃跑了/到异次元了
因此报错根本原因是页面崩溃。而导致页面崩溃的原因是本机的docker的共享内存默认只有64M,而且直接从docker hub上拉取的selenium,使用本机的docker打开后,共享内存依旧是默认的64M,可以使用df -h
查看。
当chrome使用内存保存下载的页面时,第一个页面就足以让chrome崩掉了(而火狐却不会,这就是为什么网上有人改为火狐,不改代码就解决问题了,结果在chrome上提交这个bug???),因此解决问题的思路有两个,最简便的就是解决方法这里提到的:
option.add_argument('--no-sandbox')
option.add_argument('--disable-dev-shm-usage')
这个含义是使用硬盘来存储获取的内容,而不是使用内存,所以会稍稍降低分布式爬取时爬虫的速率。
还有一个解决的思路是增大设定的shm默认值,方法是运行时设置:
docker run -it --shm-size="1g" ubuntu
修改已启动的容器的shm请自行查找咯