爬虫
十四层
这个作者很懒,什么都没留下…
展开
-
scrapy 使用中间件实现随机选择User_Agent以及Proxy
1.准备列表User_Agent USER_AGENTS = [ "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",...转载 2018-08-14 09:14:57 · 448 阅读 · 0 评论 -
selenium中设置页面等待
页面等待这很重要!!!现在的网页越来越多采用了Ajax技术,这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来,但是你的代码直接使用了这个WebElement,那么就会抛出空指针的异常。为了避免这种元素定位困难而且会提高产生ElementNotVisibleException的概率。所以Selenium提供了两种等待方式,一种是隐式等待,一...转载 2018-08-13 23:25:29 · 579 阅读 · 0 评论