【爬虫系列】用Pyqt5写一个爬虫小助手

已于 2022-08-09 18:04:49 修改
阅读量903 收藏 13
点赞数 8
分类专栏： 爬虫 文章标签： 爬虫 qt python
于 2022-08-09 17:54:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fun_sn/article/details/126251038
版权

目录

成品

在这里插入图片描述

简介

PyQt5是Digia的一套Qt5应用框架与python的结合，同时支持2.x和3.x。Qt库由Riverbank Computing开发，是最强大的GUI库之一

Pyqt5安装

pip install pyqt5

Designer安装

作用：将ui文件转换为py文件

pip install pyqt5-tools

文件转换

C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\site-packages\qt5_applications\Qt\bin

可以通过上面目录找下designer.exe
在这里插入图片描述
在这里插入图片描述
打开designer.exe，写一个简单的界面，然后转换为py文件

转换命令

pyuic5 -o py文件 Ui文件

实现

Ui设计

from PyQt5 import QtCore, QtGui, QtWidgets
# 导入样式
from QSSwhite import QSS

class Ui_MainWindow(QtWidgets.QMainWindow):
    def __init__(self):
        super().__init__()
        self.setupUi(self)

    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(640, 540)
        MainWindow.setWindowIcon(QtGui.QIcon("jd.png"))
        MainWindow.setMaximumSize(QtCore.QSize(640, 540))
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setObjectName("centralwidget")
        self.tabWidget = QtWidgets.QTabWidget(self.centralwidget)
        self.tabWidget.setGeometry(QtCore.QRect(20, 4, 604, 473))
        self.tabWidget.setObjectName("tabWidget")
        self.tab_1 = QtWidgets.QWidget()
        self.tab_1.setObjectName("tab_1")
        self.groupBox_11 = QtWidgets.QGroupBox(self.tab_1)
        self.groupBox_11.setGeometry(QtCore.QRect(30, 10, 535, 151))
        self.groupBox_11.setObjectName("groupBox_11")
        self.label_11 = QtWidgets.QLabel(self.groupBox_11)
        self.label_11.setGeometry(QtCore.QRect(50, 18, 461, 123))
        self.label_11.setObjectName("label_11")
        self.groupBox_12 = QtWidgets.QGroupBox(self.tab_1)
        self.groupBox_12.setGeometry(QtCore.QRect(30, 180, 535, 251))
        self.groupBox_12.setObjectName("groupBox_12")
        self.label_4 = QtWidgets.QLabel(self.groupBox_12)
        self.label_4.setGeometry(QtCore.QRect(40, 30, 60, 24))
        self.label_4.setObjectName("label_4")
        self.lineEdit_1 = QtWidgets.QLineEdit(self.groupBox_12)
        self.lineEdit_1.setGeometry(QtCore.QRect(102, 30, 156, 24))
        self.lineEdit_1.setObjectName("lineEdit_1")
        self.radioButton_1 = QtWidgets.QRadioButton(self.groupBox_12)
        self.radioButton_1.setGeometry(QtCore.QRect(270, 26, 110, 32))
        icon = QtGui.QIcon()
        self.radioButton_1.setIcon(icon)
        self.radioButton_1.setIconSize(QtCore.QSize(30, 30))
        self.radioButton_1.setObjectName("radioButton_1")
        self.pushButton_1 = QtWidgets.QPushButton(self.groupBox_12)
        self.pushButton_1.setGeometry(QtCore.QRect(350, 27, 80, 30))
        icon2 = QtGui.QIcon()
        icon2.addPixmap(QtGui.QPixmap("1494068712.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
        self.pushButton_1.setIcon(icon2)
        self.pushButton_1.setIconSize(QtCore.QSize(20, 20))
        self.pushButton_1.setObjectName("pushButton_1")
        self.label_5 = QtWidgets.QLabel(self.groupBox_12)
        self.label_5.setGeometry(QtCore.QRect(40, 72, 71, 24))
        self.label_5.setObjectName("label_5")
        self.progressBar_1 = QtWidgets.QProgressBar(self.groupBox_12)
        self.progressBar_1.setGeometry(QtCore.QRect(105, 75, 326, 20))
        self.progressBar_1.setProperty("value", 0)
        self.progressBar_1.setObjectName("progressBar_1")
        self.textEdit_1 = QtWidgets.QTextEdit(self.groupBox_12)
        self.textEdit_1.setGeometry(QtCore.QRect(40, 120, 455, 121))
        self.textEdit_1.setObjectName("textEdit_1")
        self.tabWidget.addTab(self.tab_1, "")
        self.tab_2 = QtWidgets.QWidget()
        self.tab_2.setObjectName("tab_2")
        self.groupBox_21 = QtWidgets.QGroupBox(self.tab_2)
        self.groupBox_21.setGeometry(QtCore.QRect(30, 180, 535, 251))
        self.groupBox_21.setObjectName("groupBox_21")
        self.lineEdit_2 = QtWidgets.QLineEdit(self.groupBox_21)
        self.lineEdit_2.setGeometry(QtCore.QRect(102, 30, 156, 24))
        self.lineEdit_2.setObjectName("lineEdit_2")
        self.label_6 = QtWidgets.QLabel(self.groupBox_21)
        self.label_6.setGeometry(QtCore.QRect(40, 30, 60, 24))
        self.label_6.setObjectName("label_6")
        self.label_7 = QtWidgets.QLabel(self.groupBox_21)
        self.label_7.setGeometry(QtCore.QRect(160, 72, 71, 24))
        self.label_7.setObjectName("label_7")
        self.pushButton_2 = QtWidgets.QPushButton(self.groupBox_21)
        self.pushButton_2.setGeometry(QtCore.QRect(40, 70, 91, 30))
        self.pushButton_2.setIcon(icon2)
        self.pushButton_2.setIconSize(QtCore.QSize(20, 20))
        self.pushButton_2.setObjectName("pushButton_2")
        self.progressBar_2 = QtWidgets.QProgressBar(self.groupBox_21)
        self.progressBar_2.setGeometry(QtCore.QRect(240, 75, 250, 20))
        self.progressBar_2.setProperty("value", 0)
        self.progressBar_2.setObjectName("progressBar_2")
        self.textEdit_2 = QtWidgets.QTextEdit(self.groupBox_21)
        self.textEdit_2.setGeometry(QtCore.QRect(40, 120, 455, 121))
        self.textEdit_2.setObjectName("textEdit_2")
        self.groupBox_22 = QtWidgets.QGroupBox(self.tab_2)
        self.groupBox_22.setGeometry(QtCore.QRect(30, 10, 535, 151))
        self.groupBox_22.setObjectName("groupBox_22")
        self.label_2 = QtWidgets.QLabel(self.groupBox_22)
        self.label_2.setGeometry(QtCore.QRect(50, 18, 461, 123))
        self.label_2.setObjectName("label_2")
        self.tabWidget.addTab(self.tab_2, "")
        self.tab_3 = QtWidgets.QWidget()
        self.tab_3.setObjectName("tab_3")
        self.groupBox_31 = QtWidgets.QGroupBox(self.tab_3)
        self.groupBox_31.setGeometry(QtCore.QRect(30, 180, 535, 251))
        self.groupBox_31.setObjectName("groupBox_31")
        self.progressBar_3 = QtWidgets.QProgressBar(self.groupBox_31)
        self.progressBar_3.setGeometry(QtCore.QRect(240, 75, 250, 20))
        self.progressBar_3.setProperty("value", 0)
        self.progressBar_3.setObjectName("progressBar_3")
        self.pushButton_3 = QtWidgets.QPushButton(self.groupBox_31)
        self.pushButton_3.setGeometry(QtCore.QRect(40, 70, 91, 30))
        self.pushButton_3.setIcon(icon2)
        self.pushButton_3.setIconSize(QtCore.QSize(20, 20))
        self.pushButton_3.setObjectName("pushButton_3")
        self.label_8 = QtWidgets.QLabel(self.groupBox_31)
        self.label_8.setGeometry(QtCore.QRect(40, 30, 60, 24))
        self.label_8.setObjectName("label_8")
        self.lineEdit_31 = QtWidgets.QLineEdit(self.groupBox_31)
        self.lineEdit_31.setGeometry(QtCore.QRect(102, 30, 156, 24))
        self.lineEdit_31.setObjectName("lineEdit_31")
        self.textEdit_3 = QtWidgets.QTextEdit(self.groupBox_31)
        self.textEdit_3.setGeometry(QtCore.QRect(40, 120, 455, 121))
        self.textEdit_3.setObjectName("textEdit_3")
        self.label_9 = QtWidgets.QLabel(self.groupBox_31)
        self.label_9.setGeometry(QtCore.QRect(160, 72, 71, 24))
        self.label_9.setObjectName("label_9")
        self.label_10 = QtWidgets.QLabel(self.groupBox_31)
        self.label_10.setGeometry(QtCore.QRect(272, 30, 72, 24))
        self.label_10.setObjectName("label_10")
        self.lineEdit_32 = QtWidgets.QLineEdit(self.groupBox_31)
        self.lineEdit_32.setGeometry(QtCore.QRect(348, 30, 146, 24))
        self.lineEdit_32.setObjectName("lineEdit_32")
        self.groupBox_32 = QtWidgets.QGroupBox(self.tab_3)
        self.groupBox_32.setGeometry(QtCore.QRect(30, 10, 535, 151))
        self.groupBox_32.setObjectName("groupBox_32")
        self.label_3 = QtWidgets.QLabel(self.groupBox_32)
        self.label_3.setGeometry(QtCore.QRect(50, 18, 461, 123))
        self.label_3.setObjectName("label_3")
        self.tabWidget.addTab(self.tab_3, "")
        MainWindow.setCentralWidget(self.centralwidget)
        self.menubar = QtWidgets.QMenuBar(MainWindow)
        self.menubar.setGeometry(QtCore.QRect(0, 0, 640, 23))
        self.menubar.setObjectName("menubar")
        self.menu_F = QtWidgets.QMenu(self.menubar)
        self.menu_F.setObjectName("menu_F")
        self.menu_H = QtWidgets.QMenu(self.menubar)
        self.menu_H.setObjectName("menu_H")
        MainWindow.setMenuBar(self.menubar)
        self.statusbar = QtWidgets.QStatusBar(MainWindow)
        self.statusbar.setObjectName("statusbar")
        MainWindow.setStatusBar(self.statusbar)
        self.actionOpenfile = QtWidgets.QAction(MainWindow)
        icon3 = QtGui.QIcon()
        self.actionOpenfile.setIcon(icon3)
        self.actionOpenfile.setObjectName("actionOpenfile")
        self.actionQiut = QtWidgets.QAction(MainWindow)
        icon4 = QtGui.QIcon()
        self.actionQiut.setIcon(icon4)
        self.actionQiut.setObjectName("actionQiut")
        self.actionAbout = QtWidgets.QAction(MainWindow)
        icon5 = QtGui.QIcon()
        icon5.addPixmap(QtGui.QPixmap("201752212221.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
        self.actionAbout.setIcon(icon5)
        self.actionAbout.setObjectName("actionAbout")
        self.actionAuthor = QtWidgets.QAction(MainWindow)
        icon6 = QtGui.QIcon()
        icon6.addPixmap(QtGui.QPixmap("2017522122216.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
        self.actionAuthor.setIcon(icon6)
        self.actionAuthor.setObjectName("actionAuthor")
        self.menu_F.addAction(self.actionOpenfile)
        self.menu_F.addSeparator()
        self.menu_F.addAction(self.actionQiut)
        self.menu_H.addAction(self.actionAbout)
        self.menu_H.addSeparator()
        self.menu_H.addAction(self.actionAuthor)
        self.menubar.addAction(self.menu_F.menuAction())
        self.menubar.addAction(self.menu_H.menuAction())

        self.retranslateUi(MainWindow)
        self.tabWidget.setCurrentIndex(0)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)

    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "京东助手"))
        self.groupBox_11.setTitle(_translate("MainWindow", "爬取说明"))
        self.label_11.setText(_translate("MainWindow", "<html><head/><body><p>⑴、爬取京东商品评分数据。</p><p>⑵、同目录下创建一个txt，并添加商品ID。</p><p>⑶、在文件输入框中输入放有商品ID的文件名称。</p></body></html>"))
        self.groupBox_12.setTitle(_translate("MainWindow", "爬取过程"))
        self.label_4.setText(_translate("MainWindow", "文件名称："))
        self.radioButton_1.setText(_translate("MainWindow", "JD"))
        self.radioButton_1.setChecked(True)   #设置默认选中
        self.pushButton_1.setText(_translate("MainWindow", "开始"))
        self.label_5.setText(_translate("MainWindow", "爬取进度："))
        self.tabWidget.setTabText(self.tabWidget.indexOf(self.tab_1), _translate("MainWindow", "获取评分"))
        self.groupBox_21.setTitle(_translate("MainWindow", "爬取过程"))


        # 添加默认值
        self.lineEdit_1.setText("ids.txt")
        self.lineEdit_32.setText("images")
        #设置鼠标样式和提示语
        for each in [self.pushButton_1,self.pushButton_2,self.pushButton_3]:
            each.setCursor(QtGui.QCursor(QtCore.Qt.PointingHandCursor))
        # 添加样式风格
        self.mystyle()

    def mystyle(self):
        qss = QSS()
        self.setStyleSheet(qss.White)

Ui样式

# -*- coding: utf-8 -*-

class QSS():
    def __init__(self):
        self.White = '''/**********主界面样式**********/
QWidget#MainWindow {
        font-family:Microsoft YaHei;
        font-size:13px;
        border: 0px solid rgb(111, 156, 207);
        background: rgb(130, 241, 252);
}
QWidget#messageWidget {
        background: rgba(173, 202, 232, 50%);
}
/**********菜单栏**********/
QMenuBar {
        font-size:13px;
        background: rgb(232, 241, 252);
        border: 1px solid rgb(200, 156, 207);
        border-left: none;
        border-right: none;
}
QMenuBar::item {
        font-size:13px;
        font-family:Microsoft YaHei;
        border: 0px solid transparent;
        padding: 5px 10px 5px 10px;
        background: transparent;
}
QMenuBar::item:enabled {
        font-size:13px;
        color: rgb(2, 65, 132);
}
QMenuBar::item:!enabled {
        color: rgb(155, 155, 155);
}
QMenuBar::item:enabled:selected {
        border-top-color: rgb(118, 156, 207);
        border-bottom-color: rgb(118, 156, 207);
        background: rgb(118, 156, 207);
}
/**********菜单**********/
QMenu {
        font-size:13px;
        font-family:Microsoft YaHei;
        border: 1px solid rgb(111, 156, 207);
        background: rgb(200, 156, 207);
}
QMenu::item {
        font-family:Microsoft YaHei;
        height: 18px;
        padding: 5px 25px 5px 20px;
        padding-left: 30px;
        padding-right: 12px;
}
QMenu::item:enabled {
        color: rgb(84, 84, 84);
}
QMenu::item:!enabled {
        color: rgb(155, 155, 155);
}
QMenu::item:enabled:selected {
        color: rgb(2, 65, 132);
        background: rgba(255, 255, 255, 200);
}
QMenu::separator {
        height: 1px;
        background: rgb(111, 156, 207);
}
QMenu::indicator {
        width: 13px;
        height: 13px;
}
QMenu::icon {
        padding-left: 12px;
        padding-right: 0px;
}

/**********状态栏**********/
QStatusBar {
        font-size:13px;
        font-family:Microsoft YaHei;
        background: rgb(187, 212, 238);
        border: 1px solid rgb(111, 156, 207);
        border-left: none;
        border-right: none;
        border-bottom: none;
}
QStatusBar::item {
        font-family:Microsoft YaHei;
        border: none;
        border-right: 1px solid rgb(111, 156, 207);
}
/**********分组框**********/
QGroupBox {
        font-size:13px;
        font-family:Microsoft YaHei;
        border: 1px solid rgb(111, 156, 207);
        border-radius: 4px;
        margin-top: 10px;
}
QGroupBox::title {
        font-family:Microsoft YaHei;
        color: rgb(56, 99, 154);
        top: -10px;
        left: 10px;
}
/**********滚动条-垂直**********/
QScrollBar:vertical {
        width: 20px;
        background: transparent;
        margin-left: 3px;
        margin-right: 3px;
}
QScrollBar::handle:vertical {
        width: 20px;
        min-height: 30px;
        background: rgb(170, 200, 230);
        margin-top: 15px;
        margin-bottom: 15px;
}
QScrollBar::handle:vertical:hover {
        background: rgb(165, 195, 225);
}
QScrollBar::sub-line:vertical {
        height: 15px;
        background: transparent;
        image: url("White/topArrow.png");
        subcontrol-position: top;
}
QScrollBar::add-line:vertical {
        height: 15px;
        background: transparent;
        image: url("White/bottomArrow.png");
        subcontrol-position: bottom;
}
QScrollBar::sub-line:vertical:hover {
        background: rgb(170, 200, 230);
}
QScrollBar::add-line:vertical:hover {
        background: rgb(170, 200, 230);
}
QScrollBar::add-page:vertical, QScrollBar::sub-page:vertical {
        background: transparent;
}

QScrollBar#verticalScrollBar:vertical {
        margin-top: 30px;
}
/**********页签项**********/
QTabWidget::pane {
        font-family:Microsoft YaHei;
        border: none;
        border-top: 3px solid rgb(0, 78, 161);
        background: rgb(187, 212, 238);
}
QTabWidget::tab-bar {
        border: none;
}
QTabBar::tab {
        font-family:Microsoft YaHei;
        border: none;
        border-top-left-radius: 4px;
        border-top-right-radius: 4px;
        color: white;
        background: rgb(120, 170, 220);
        height: 28px;
        min-width: 85px;
        margin-right: 5px;
        padding-left: 5px;
        padding-right: 5px;
}
QTabBar::tab:hover {
        background: rgb(0, 78, 161);
}
QTabBar::tab:selected {
        color: white;
        background: rgb(0, 78, 161);
}

QTabWidget#tabWidget::pane {
        border: 1px solid rgb(111, 156, 207);
        background: rgb(232, 241, 252);
        margin-top: -1px;
}

QTabBar#tabBar::tab {
        border: 1px solid rgb(111, 156, 207);
        border-bottom: none;
        color: rgb(70, 71, 73);
        background: transparent;
}
QTabBar#tabBar::tab:hover {
        color: rgb(2, 65, 132);
}
QTabBar#tabBar::tab:selected {
        color: rgb(2, 65, 132);
        background: rgb(232, 241, 252);
}
/**********进度条**********/
QProgressBar {
        border: none;
        text-align: center;
        color: white;
        background-color: transparent;
        background-image: url("White/progressBar.png");
        background-repeat: repeat-x;
}
QProgressBar::chunk {
        border: none;
        background-color: transparent;
        background-image: url("White/progressBarChunk.png");
        background-repeat: repeat-x;
}
/**********单选框**********/
QRadioButton{
        font-size:13px;
        spacing: 5px;
}
QRadioButton:enabled:checked{
        color: rgb(2, 65, 132);
}
QRadioButton:enabled:!checked{
        color: rgb(70, 71, 73);
}
QRadioButton:enabled:hover{
        color: rgb(0, 78, 161);
}
QRadioButton:!enabled{
        color: rgb(80, 80, 80);
}
QRadioButton::indicator {
        width: 20px;
        height: 20px;
}
QRadioButton::indicator:unchecked {
        image: url("White/radioButton.png");
}
QRadioButton::indicator:unchecked:hover {
        image: url("White/radioButtonHover.png");
}
QRadioButton::indicator:unchecked:pressed {
        image: url("White/radioButtonPressed.png");
}
QRadioButton::indicator:checked {
        image: url("White/radioButtonChecked.png");
}
QRadioButton::indicator:checked:hover {
        image: url("White/radioButtonCheckedHover.png");
}
QRadioButton::indicator:checked:pressed {
        image: url("White/radioButtonCheckedPressed.png");
}
/**********输入框**********/
QLineEdit {
        border-radius: 4px;
        height: 25px;
        border: 1px solid rgb(111, 156, 207);
        background: white;
}
QLineEdit:enabled {
        color: rgb(84, 84, 84);
}
QLineEdit:enabled:hover, QLineEdit:enabled:focus {
        color: rgb(51, 51, 51);
}
QLineEdit:!enabled {
        color: rgb(80, 80, 80);
}
/**********文本编辑框**********/
QTextEdit {
        font-family:Microsoft YaHei;
        font:12px;
        border: 1px solid rgb(111, 156, 207);
        color: rgb(70, 71, 73);
        background: rgb(187, 212, 238);
}
/**********滚动区域**********/
QScrollArea {
        border: 1px solid rgb(111, 156, 207);
        background: rgb(187, 212, 238);
}
/**********滚动区域**********/
QWidget#transparentWidget {
        background: transparent;
}
/**********标签**********/
QLabel {
        font-family:Microsoft YaHei;
        font:13px;
        color: rgb(0, 160, 230);
}
/**********按钮**********/
QPushButton{
        border-radius: 4px;
        border: none;
        width: 75px;
        height: 25px;
}
QPushButton:enabled {
        background: rgb(120, 170, 220);
        color: white;
}
QPushButton:!enabled {
        background: rgb(180, 180, 180);
        color: white;
}
QPushButton:enabled:hover{
        background: rgb(100, 140, 230);
}
QPushButton:enabled:pressed{
        background: rgb(0, 78, 161);
}'''

Spider

import requests
import json
import re
from lxml import etree

class Spiders(object):
    def __init__(self):
        self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}

    # 形成富文本，参数是文本内容和字体颜色
    def getmsg(self,themsg,thecolor):
        msg = '<html><head/><body><p><span style=" font-family:Microsoft YaHei;font-size:9pt; color:{};">{}</span></p></body></html>'.format(thecolor,themsg)
        return msg

    # 读取数据
    def get_Infos(self, filename):
        Infos = []
        with open(filename, 'r') as f:
            data = f.readlines()
        for each in data:
            if len(each.strip()) > 0:
                Infos.append(each.strip())
        return Infos

    # 获取京东评分
    def get_JD(self, id, outfile):
        url = 'https://club.jd.com/comment/productCommentSummaries.action?referenceIds=%s' % id   # DSR_URL
        res = requests.get(url, headers=self.headers)
        
        dic = json.loads(res.text)['CommentsCount'][0]
        SkuId = str(dic['SkuId']).strip()  # 商品ID
        CommentCountStr = str(dic['CommentCountStr']) # 累计评价
        GoodRate = str(dic['GoodRate']).strip()  # 好评率

        GoodCount = str(dic['GoodCountStr']).strip()  # 好评数
        GeneralCount = str(dic['GeneralCountStr']).strip()  # 中评数
        PoorCount = str(dic['PoorCountStr']).strip()  # 差评数
        PoorRate = str(dic['PoorRate']).strip() # 差评率
        AfterCountStr = str(dic['AfterCountStr']).strip()  # 追评
        DSR = SkuId + ','+CommentCountStr + ',' + GoodRate  + ',' + GoodCount + ',' + GeneralCount + ',' + PoorCount + ',' + PoorRate + ',' + AfterCountStr
        with open(outfile, 'a',encoding='utf8') as f:
            f.write(DSR + '\n')
        return

主程序

# -*- coding: utf-8 -*-

from PyQt5 import QtCore, QtWidgets
from ToolUI import Ui_MainWindow
import sys
from APIs import Spiders
import datetime
import time
import os.path


class MainUI(Ui_MainWindow):
    def __init__(self):
        super().__init__()
        
        self.pushButton_1.clicked.connect(self.startdsr)  # DSR开始按钮

    # 重写关闭函数
    def closeEvent(self, event):
        reply = QtWidgets.QMessageBox.question(self, '关闭程序',
                                               "关闭程序可能导致正在进行的操作终止，请确认\n是否退出并关闭程序？",
                                               QtWidgets.QMessageBox.Yes, QtWidgets.QMessageBox.No)
        if reply == QtWidgets.QMessageBox.Yes:
            event.accept()
        else:
            event.ignore()

    # 消息框函数，传入2个参数，第1个是标题，第2个是显示内容
    def selectInfo(self, thetitle, megs):
        QtWidgets.QMessageBox.about(self, thetitle, megs)

    # 商品类型
    def changePD(self):
        if self.radioButton_1.isChecked():
            product = "jingdong"
        return product

    # 更新状态栏
    def statusshow(self, astr):
        self.statusbar.showMessage(astr)

    # 启动线程的槽函数
    def startdsr(self):
        self.statusbar.setStyleSheet("color:red")
        self.pushButton_1.setDisabled(True)  # 线程启动锁定按钮
        self.textEdit_1.setText("")  # 插入一个空白，每次启动线程都可以清屏
        txtname = self.lineEdit_1.text()
        product = self.changePD()
        self.dsrthread = dsrThread(txtname, product)
        self.dsrthread.status_signal.connect(self.statusshow)
        self.dsrthread.dsrtext_signal.connect(self.dsrtextshow)
        self.dsrthread.dsrprogmax_signal.connect(self.dsrprog_max)
        self.dsrthread.dsrprog_signal.connect(self.dsrprog_value)
        self.dsrthread.finished.connect(self.dsrpushon)  # 线程结束执行函数
        self.dsrthread.start()

    # 线程结束后开启按钮
    def dsrpushon(self):
        self.pushButton_1.setDisabled(False)

    # 更新输出文本
    def dsrtextshow(self, astr):
        self.textEdit_1.append(astr)

    # 获取进度条最大值
    def dsrprog_max(self, n):
        self.progressBar_1.setMinimum(0)
        self.progressBar_1.setMaximum(n)

    # 更新进度条
    def dsrprog_value(self, i):
        self.progressBar_1.setValue(i)

# 线程
class dsrThread(QtCore.QThread):
    status_signal = QtCore.pyqtSignal(str)  # 发送给状态栏的信号
    dsrtext_signal = QtCore.pyqtSignal(str)  # 发送给输出框的信号
    dsrprogmax_signal = QtCore.pyqtSignal(int)  # 发送给进度条的信号，给出最大值
    dsrprog_signal = QtCore.pyqtSignal(int)  # 发送给进度条的信号，给出每次刷新的进度

    def __init__(self, txtname, product):  # 参数：读取的文件名，商品类型
        super().__init__()
        self.txtname = txtname
        self.product = product
        self.api = Spiders()

    def run(self):
        start = time.time()
        T = datetime.datetime.now()
        self.status_signal.emit("当前状态：正在进行评分提取操作...")
        try:
            IDs = self.api.get_Infos(self.txtname)
        except:
            self.dsrtext_signal.emit(self.api.getmsg("读取文件失败，请检查文件名称是否有误！", "red"))
        else:
            nums = len(IDs)
            self.dsrprogmax_signal.emit(nums)
            i = 1
            if self.product == "jingdong":
                outfile = "JD_" + T.strftime("%Y%m%d%H%M") + "_" + str(nums) + ".csv"
                self.dsrtext_signal.emit(self.api.getmsg("商品类型为【京东商品】，有效ID总计{}个，开始提取评分".format(nums), "#464749"))
                with open(outfile, 'w',encoding='utf8') as f:
                    f.write('SKU_id,评论数,好评率,好评数,中评数,差评数,差评率,追评\n')
                for each in IDs:
                    try:
                        self.api.get_JD(each, outfile)
                    except:
                        msg_b = "总计{}个商品ID,第{}个：{}写入信息失败！".format(nums, i, each)
                        self.dsrtext_signal.emit(self.api.getmsg(msg_b, "red"))
                    else:
                        msg_c = "总计{}个商品ID,成功写入第{}个：{}".format(nums, i, each)
                        self.dsrtext_signal.emit(self.api.getmsg(msg_c, "#464749"))
                        self.dsrprog_signal.emit(i)
                    i += 1
            end = time.time()
            msg_d = "评分爬取完成，耗时：%0.2f秒！\n数据保存在当前目录下表格  %s  中" % (float(end - start), outfile)
            self.dsrtext_signal.emit(self.api.getmsg(msg_d, "green"))
        self.status_signal.emit("当前状态：评分信息提取操作完毕！")

if __name__ == '__main__':
    app = QtWidgets.QApplication(sys.argv)
    myui = MainUI()
    myui.show()
    sys.exit(app.exec_())

展示

在这里插入图片描述

爬取结果：

在这里插入图片描述

开发

  • 主图爬取

  • 图片下载

在这里插入图片描述

点关注不迷路，本文若对你有帮助，烦请三连支持一下 ❤️❤️❤️
各位的支持和认可就是我最大的动力❤️❤️❤️

不会翻墙的泰隆
关注
专栏目录
pyqt5 爬虫开源项目
MyLovelyJay的博客
08-12 518
pyqt5 爬虫开源项目
实战|教你用Python+PyQt5制作一款带有界面的B站爬虫小程序
菜J学Python的博客
11-15 2168
前言 大家好，我是J哥。 目前，市场上有大量 Python图形用户界面（GUI）开发框架可供选择，如wxpython 、pyqt5、Gtk、Tk等。本文将用Python结合PyQt5制作一款B站视频数据爬虫小程序，可以通过输入关键字、页码以及选择存储路径后，下载相应的数据，演示效果如下： 以下将详细介绍这个GUI工具的制作方法，如需本文完整代码，后台回复「GUI」。 开发环境 Python3 Pycharm PyQt5 Qt Designer requests 准备工作 首先，新建一个bilibili.
Python + PyQT5 + 网络爬虫
07-01
使用Python语言编写，PyQT第三方库实现GUI，可以批量爬取网络文本、图片等数据。 如果该内容对你有帮助的话，还希望您慷慨解囊，您的鼓励是我继续创作的最大动力。 当然，爬取网站可能受限，比如一些国内知名网站，一些网站的VIP会员资源等都有可能爬取失败。 当然代码中除了PyQT5的知识之外，还包含了编写网络爬虫软件的基本常识，这些内容请使用者自行去网上搜索学习。 如果觉得代码中的注释较少，使用者可自行去百度搜索理解，也可以私信我，我会抽时间做出响应的解释。 所以本人声明，工具只能用于学习交流使用，不能用于非法交易，参与非法活动等等，代码最终解释权归创作者本人所有。 最后希望该作品能够帮助打你，祝您生活愉快，笑口常开！
【源代码】Pythone+PyQt5+爬虫+多线程 : 豆瓣陶书工具(GUI)
05-16
通过PyQt5，爬虫，多线程实现“根据豆瓣评分和人数挑选豆瓣所有类书籍”：成品请看blog：
PyQt5制作一个爬虫小工具，爬取雪球网上市公司的财务数据
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-19 3144
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于可以叫我才哥 ，作者：可以叫我才哥 最近有朋友需要帮忙写个爬虫脚本，爬取雪球网一些上市公司的财务数据。盆友希望可以根据他自己的选择进行自由的抓取，所以简单给一份脚本交给盆友，盆友还需要自己搭建python环境，更需要去熟悉一些参数修改的操作，想来也是太麻烦了。 于是，结合之前做过的汇率计算器小工具，我这边决定使用PyQt5给朋友制作一个爬虫小工具，方便他的操作可视化。 一、效.
只用pyqt5写爬虫
qq_63401240的博客
02-01 564
pyqt5爬虫
产品研发：PyQt5爬虫程序
weixin_70570456的博客
10-24 845
爬虫产品开发
python PyQt5 爬虫实现
kyle_sblogs的博客
04-13 2541
搞一个图形化界面还是挺酷的，是吧 安装库什么的应该不用多说了吧。。 一般来说会让你把 designer.exe（编辑图形化界面的东西，跟vb差不多） 当作外部工具导入到 pycharm 界面里（这里不写了）,其实就是打开方便点，不做也没什么关系，没有非要从pycharm打开，界面是这样的： 还要导入一个PyUIC 工具包，这个东西好像还是导入比较好，（写文件目录的时候可能由于安装的问题找不到那个文件，我刚开始也没找到，还不如直接在C盘搜索那个东西来的直接）不然挺麻烦的。UIC 是用来把你做的图形化界面
PyQt5 + 爬虫实现'搜索软件' 百科助手，GUI与爬虫结合
九瓜的博客
03-23 1213
建立PyQt模板 大致如下： 保存，然后把.ui文件转换成.py文件进行操作 对py文件操作 # -*- coding: utf-8 -*- import base64 import sys from PyQt5 import QtCore, QtGui, QtWidgets from PyQt5.QtGui import QIcon from PyQt5.QtWidgets import Q...
使用PyQt5创建爬虫页面
weixin_43536815的博客
03-30 425
1、创建页面信息 # 读取屏幕的 大小 desktop = QDesktopWidget() win_width = desktop.screenGeometry().width() win_height = desktop.screenGeometry().height() self.app_width = 1000 self.app_height = 600 self.setGeometry((win_
pyqt5 + pyinstaller 制作爬虫小程序
不止于Python
07-15 292
环境:mac python3.7 pyqt5pyinstaller ps: 主要是熟悉pyqt5, 加入了单选框 输入框 文本框 文件夹选择框及日历下拉框 效果图: pyqt5 主程序文件 # -*- coding: utf-8 -*- # @Author: Mehaei # @Date: 2019-07-10 13:02:56 # @Last ...
python3.6.5 PyQt5爬虫 音频下载 音频播放 图片字符识别，文件保存，字符操作
05-27
python3.6.5 PyQt5爬虫 音频下载 音频播放 图片字符识别，文件保存，字符操作 自己通过几天的学习用python写的一个抓取有道词典的小程序，可以查询单词。 这里只有部分代码，文件可以运行的。本来是用来练手的，现在就赚点积分吧
基于Python实现电影小助手.rar
11-21
本项目以Python为工具，结合网络爬虫、数据分析等技术，打造了一个实用的电影小助手。接下来，我们将深入探讨如何基于Python实现这样一个功能强大的电影助手。 首先，我们要了解Python在数据处理和网络爬虫领域的...
Python项目案例源代码：电影小助手.zip
06-06
这个名为"Python项目案例源代码：电影小助手.zip"的压缩包显然包含了使用Python编程语言编写的项目源代码，主要用于创建一个电影助手应用。通过分析这个项目，我们可以深入学习Python编程，尤其是涉及到Web爬虫、...
Python优秀项目 基于Flask+itchat+Vue前后端分离的可视化微信群发小助手源码+部署文档+全部数据资料.zip
05-25
CSDN IT狂飙上传的代码均可运行，功能ok的情况下才上传的，直接替换数据即可使用，小白也能轻松上手 ...Django、Flask、Pytorch、Scrapy、PyQt、爬虫、可视化、大数据、推荐系统、人工智能、大模型
pyqt5+爬虫+有界面的爬取天气预报
大胖东的博客
05-20 928
import sys import urllib from json import JSONDecodeError import requests from PyQt5 import QtWidgets, QtCore, QtGui from PyQt5.QtGui import * from PyQt5.QtWidgets import * from PyQt5.QtCore import * class XZS(QWidget): def __init__(self): .
我用Python写了个网课查题小助手
King
03-06 1701
自己动手，丰衣足食。
PyQt5+爬虫打造磁力链接搜索工具
qq_42032507的博客
01-31 5005
PyQt5结合爬虫制作一个磁力链接搜索工具的可视化界面，具体效果如下图所示，输入框内输入要搜索的内容，点击搜索按钮，下面的大框内显示搜索结果，双击搜索结果可以自动调用电脑上的迅雷下载，清除按钮用来清除搜索结果。本文分为三小节，第一小节为GUI设计，第二小节为爬虫，第三小节介绍如何将它们结合到一起。 1. GUI设计 使用QT designer设计该界面，新建一个widget窗口，把控件从左边拖进...
Pyqt5界面设计灵感-爬虫篇
weixin_41317950的博客
03-12 1391
# -*- coding: utf-8 -*- # Form implementation generated from reading ui file 'newspaper_tools_v1.2.1.ui' # # Created by: PyQt5 UI code generator 5.15.4 # # WARNING: Any manual changes made to this file will be lost when pyuic5 is # run again. Do not edi.
用pyqt5写一个窗口
最新发布
09-30
在PyQt5中创建一个简单的窗口，你需要导入必要的模块并使用`QApplication`、`QWidget`和`QMainWindow`等类。下面是一个基础的例子： ```python from PyQt5.QtWidgets import QApplication, QMainWindow, QWidget # 创建一个应用实例 app = QApplication([]) # 定义窗口的基本样式 class MyWindow(QMainWindow): def __init__(self): super().__init__() # 设置窗口标题 self.setWindowTitle('我的第一个PyQt5窗口') # 设置窗口大小 self.setGeometry(100, 100, 800, 600) # 创建主窗口布局 central_widget = QWidget() self.setCentralWidget(central_widget) # 可以在这里添加按钮、标签等控件，例如： button = QPushButton('点击我', self) button.move(100, 200) # 设置位置 # 实例化窗口并显示 window = MyWindow() window.show() # 运行应用 app.exec_() ``` 在这个例子中，我们首先创建了一个`QApplication`实例，然后定义了一个名为`MyWindow`的自定义窗口类，继承自`QMainWindow`。窗口包含一个中心区域，这里我们暂时只放了一个按钮。最后启动应用程序并显示窗口。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值