- 博客(4)
- 收藏
- 关注
原创 python-selenium-webdriver quit()函数阻塞(hang)的处理方法
爬虫采用Selenium + geckodriver(Firefox webdriver),经过调试,发现访问一些网站结束后,调用webdriver.quit()函数时,代码直接hang住,无法返回及异常发生。参考文档后面的资料,是由于Firefox退出时,有需要用户确认的确认框引起的。按照Selenium的工作机制,代码调用Selenium Client Library,向webdriver...
2019-09-11 16:55:45
1871
1
原创 gdb调试python源代码
近期,用python写了一个爬虫,由于中间的操作步骤很多,经常有线程Hang住,经过百度与Google,发现GDB现在7.0以上版本支持对Python源码进行debug。但是Centos上面,只有有限的几个Python版本支持debug,前提是yum库中拥有python-debuginfo安装包。有几个关键环节下载libpython.py下载路径https://github.com/p...
2019-09-09 18:10:01
1064
原创 Selenium Firefox webdriver无法抓取证书不合格的HTTPS网站解决办法
问题最近在使用Selenium Firefox webdriver抓取网页内容,在抓取一些证书不合格的HTTPS网站时,Firefox经常报错,并提示“Your connection is not secure…”的错误提示,返回的错误码为NS_ERROR_NET_INADEQUATE_SECURITY。其中使用的版本如下:Selenium: 3.14Python: 3.6Firefox:...
2019-07-30 15:29:48
1720
原创 Selenium Chrome/Firefox webdriver实现截取网页长图的方法
Selenium+Chrome/Firefox+webdriver网页截取长图的方法最近在测试使用Selenium+Firefox webdriver来对网页整体截图,由PhantomJS不再更新,所以更换到了Firefox,但是发现原来在PhantomJS的save_screenshot()可以保存网页全屏的截图,更换成Firefox/Chrome之后,只能截取当前屏幕的截图。想起来之前用过...
2019-07-30 14:43:40
3390
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人