python爬虫
Fantasy_Virgo
学而不思则罔,思而不学则殆!
展开
-
python+scrapy+selenium结合
第一篇CSDN博客,先写个笔记 最近在学习python利用selenium爬取动态网站,因为之前学了scrapy框架,然后就不理解怎么把scrapy和selenium结合起来使用,看了几个文章,说的是用scrapy框架自动生成目录结构后,在middleware.py里面自定义自己的中间件代码。重要的方法就是process_request()。 看的两个文章: http://www.j原创 2017-11-21 18:28:38 · 2322 阅读 · 0 评论 -
selenium.common.exceptions.StaleElementReferenceException: Message: Element not found in the cache
最近在用selenium+PhantomJS写程序的时候,其中有一部分是输入用户名密码然后点击登录的过程,在登录按钮操作的时候一直报错: username_input = wait.until(EC.presence_of_element_located((By.ID,'TB_userName'))) passwd_input = wait.until(EC.presence_of_eleme...原创 2018-09-04 13:52:11 · 1322 阅读 · 0 评论