python
liqkjm
这个作者很懒,什么都没留下…
展开
-
Pyqt5和Scrapy开发可视化爬虫
做了一个电商的爬虫,仅做学习使用记录一下遇到的坑:整个开发步骤为,利用scrapy爬几大电商网站的商品图片,然后开发UI,根据输入的信息,执行不同的爬虫。坑就主要在这个地方1. 如何向scrapy爬虫传递配置信息,包括要爬取的电商网站(即要启动的spider),商品名称,数据库信息,图片保存路径?(不同的爬虫使用不同的配置)scrapy框架,在settings.py中设置整个项目的配置信...原创 2019-02-27 18:17:38 · 4011 阅读 · 7 评论 -
PYQT5开启多个线程和窗口,多线程与多窗口的交互
PYQT5开启多个线程和窗口,多线程与多窗口的交互每点击一次按钮,弹出一个对话框(子窗口),同时开启一个子线程来执行任务并更新对话框内容,关闭对话框则关闭对应子线程建立一个简单的主界面和一个自定义对话框from PyQt5 import QtCore, QtGui, QtWidgetsclass Ui_MainWindow(object): def setupUi(self, ...原创 2019-04-16 13:31:48 · 18680 阅读 · 5 评论 -
PyQt5和Scrapy开发可视化爬虫(二)
PyQt5和Scrapy开发可视化爬虫(二)使用PyQt5开发Scrapy爬虫的界面,利用CrawlerRunner启动爬虫,并利用PyQt5信号传递爬虫信息到界面在上一篇Pyqt5和Scrapy开发可视化爬虫中,使用了在Qt子线程中,利用subprocess开启一个终端进程来执行Scrapy启动命令,获取进程的标准输出,以实现向界面发送信息的功能。但使用命令启动始终有很大的局限性,之...原创 2019-04-18 11:30:27 · 3094 阅读 · 1 评论 -
Module `scrapy.log` has been deprecated
scrapy.log模块已经被弃用警告看着难受,可以直接使用Logger类,因为scrapy.log也就是封装了一层的Logger示例:import logginglogger = logging.getLogger(__name__)logger.log(logging.WARNING, '警告') # 输出日志Logger接口:class Logger(Filterer):...原创 2019-04-18 11:57:54 · 679 阅读 · 0 评论