![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 53
青山青
这个作者很懒,什么都没留下…
展开
-
adb devices连接提示 Android offline或unauthorized的解决办法
adb调试转载 2023-01-11 11:24:39 · 1189 阅读 · 1 评论 -
【APSCHEDULER + SCRAPY定时爬虫】VALUEERROR: SIGNAL ONLY WORKS IN MAIN THREAD
爬虫转载 2022-06-14 16:34:29 · 535 阅读 · 1 评论 -
在Scrapy中集成selenium采集数据
前言scrapy 是一个很强大的框架,但是在遇到反爬很强的网站时就无能为力了,这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页,然后从浏览器中获取到页面的源代码,之后进行正常的采集流程。scrapy 是一个非阻塞框架,selenium 是一个阻塞框架,将一个阻塞框架的代码放到非阻塞框架中并不是一个好主意,但是在网站反爬实在太难时也不失为一个比较好的办法。scrapy 官方并不支持 selenium 集成,但是可以通过第三方包的方式来实现。scrapy 框架提供了很多转载 2022-05-13 16:20:45 · 622 阅读 · 0 评论 -
python+selenium click点击后,页面源码无变化
使用python+selenium模拟点击通过Xpath进行匹配出下一个文章或者下一页的链接后chrome.find_element_by_xpath("//li[@id='sogou_vr_11002301_box_0']/dl[3]/dd/a").click()若直接点击后通过chrome.page_source.encode("gbk", "ignore").decode("gbk")获取源码,此时获取的并不是click执行之后的页面的源码,而是上一个页面的源码。此时可通过判断新的句柄是否是当转载 2022-02-23 14:50:40 · 2250 阅读 · 1 评论