自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 python-selenium-webdriver quit()函数阻塞(hang)的处理方法

爬虫采用Selenium + geckodriver(Firefox webdriver),经过调试,发现访问一些网站结束后,调用webdriver.quit()函数时,代码直接hang住,无法返回及异常发生。参考文档后面的资料,是由于Firefox退出时,有需要用户确认的确认框引起的。按照Selenium的工作机制,代码调用Selenium Client Library,向webdriver...

2019-09-11 16:55:45 1847 1

原创 gdb调试python源代码

近期,用python写了一个爬虫,由于中间的操作步骤很多,经常有线程Hang住,经过百度与Google,发现GDB现在7.0以上版本支持对Python源码进行debug。但是Centos上面,只有有限的几个Python版本支持debug,前提是yum库中拥有python-debuginfo安装包。有几个关键环节下载libpython.py下载路径https://github.com/p...

2019-09-09 18:10:01 1045

原创 Selenium Firefox webdriver无法抓取证书不合格的HTTPS网站解决办法

问题最近在使用Selenium Firefox webdriver抓取网页内容,在抓取一些证书不合格的HTTPS网站时,Firefox经常报错,并提示“Your connection is not secure…”的错误提示,返回的错误码为NS_ERROR_NET_INADEQUATE_SECURITY。其中使用的版本如下:Selenium: 3.14Python: 3.6Firefox:...

2019-07-30 15:29:48 1685

原创 Selenium Chrome/Firefox webdriver实现截取网页长图的方法

Selenium+Chrome/Firefox+webdriver网页截取长图的方法最近在测试使用Selenium+Firefox webdriver来对网页整体截图,由PhantomJS不再更新,所以更换到了Firefox,但是发现原来在PhantomJS的save_screenshot()可以保存网页全屏的截图,更换成Firefox/Chrome之后,只能截取当前屏幕的截图。想起来之前用过...

2019-07-30 14:43:40 3372 4

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除