![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
la_vie_est_belle
热爱代码
展开
-
PyQt5和Scrapy整合解决方案
PyQt5和Scrapy整合解决方案实现爬虫功能完成界面布局整合PyQt5和Scrapy代码打包整体思路:在PyQt5窗口类中开一个进程运行Scrapy代码,并使用Queue进行通信。实现爬虫功能首先是Scrapy,笔者使用以下命令创建项目:scrapy startproject bookscd booksscrapy genspider book bo...原创 2019-10-15 18:22:27 · 2916 阅读 · 0 评论 -
用Pyinstaller打包Scrapy项目问题解决!!!
这篇报废,这里的PyInstaller教程相信对大家会有用,其中会解决spider not found的问题,真正成功地打包Scrapy:https://blog.csdn.net/La_vie_est_belle/article/details/96321995这个是我的项目目录:众所周知,dist,build和crawl.spec是打包后生成的文件。思路就是:写一个脚...原创 2018-01-09 20:58:59 · 13766 阅读 · 33 评论 -
Scrapy: 为什么xpath和css明明是对的,但却爬不到任何内容?
有很多小伙伴入门Scrapy的时候都会有这样的疑问:明明写的xpath和css是对的(就算真自己写错,那用谷歌或火狐返回的xpath和css不会错的吧),但总是返回一个空列表。解决办法很简单,改变自己的一个观念就好:Scrapy爬虫看到的页面结构与我们自己在浏览器看到的可能并不一样。所以scrapy shell这种工具就非常有用了,Scrapy官方文档对它的说明是:The...原创 2018-02-13 09:46:50 · 12148 阅读 · 2 评论