![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
棉花糖9
这个作者很懒,什么都没留下…
展开
-
Selenium Chrome/Firefox webdriver实现截取网页长图的方法
Selenium+Chrome/Firefox+webdriver网页截取长图的方法最近在测试使用Selenium+Firefox webdriver来对网页整体截图,由PhantomJS不再更新,所以更换到了Firefox,但是发现原来在PhantomJS的save_screenshot()可以保存网页全屏的截图,更换成Firefox/Chrome之后,只能截取当前屏幕的截图。想起来之前用过...原创 2019-07-30 14:43:40 · 3373 阅读 · 4 评论 -
gdb调试python源代码
近期,用python写了一个爬虫,由于中间的操作步骤很多,经常有线程Hang住,经过百度与Google,发现GDB现在7.0以上版本支持对Python源码进行debug。但是Centos上面,只有有限的几个Python版本支持debug,前提是yum库中拥有python-debuginfo安装包。有几个关键环节下载libpython.py下载路径https://github.com/p...原创 2019-09-09 18:10:01 · 1045 阅读 · 0 评论 -
python-selenium-webdriver quit()函数阻塞(hang)的处理方法
爬虫采用Selenium + geckodriver(Firefox webdriver),经过调试,发现访问一些网站结束后,调用webdriver.quit()函数时,代码直接hang住,无法返回及异常发生。参考文档后面的资料,是由于Firefox退出时,有需要用户确认的确认框引起的。按照Selenium的工作机制,代码调用Selenium Client Library,向webdriver...原创 2019-09-11 16:55:45 · 1850 阅读 · 1 评论