基于QT5 + requests + MySQL + Python开发的爬虫软件

最新推荐文章于 2022-12-20 14:55:47 发布
最新推荐文章于 2022-12-20 14:55:47 发布
阅读量614 收藏 10
点赞数 3
文章标签： mysql python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanxiang11/article/details/118345958
版权

该软件仅仅用于学习爬虫了解爬虫的相关技术和实现方法！！！

  1. 话不多说，我们直接上代码学习
  2. 仅仅用于学习
  3. 仅仅用于学习
  4. 不要总想着搞点事情，安分守己做一个爱学习的好孩子把
  5. 其实还有几个页面我是故意关掉的你们自己二次开发，因为功能实在是强大容易出事

上图片
在这里插入图片描述
最上面是菜单栏
在这里插入图片描述
功能界面如下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
好了就这几个，其他的自己搞，根据学习，也不要问我要，问就是没有！！！

效果展示：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

好了好了上代码
项目框架搭建：
在这里插入图片描述

首页：index.py

# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'untitled.ui'
#
# Created by: PyQt5 UI code generator 5.15.4
#
# WARNING: Any manual changes made to this file will be lost when pyuic5 is
# run again.  Do not edit this file unless you know what you are doing.

import Img.bg_rc
import sys
from PyQt5.QtWidgets import *
from PyQt5 import QtCore, QtGui, QtWidgets

from Verification import Verification
from Data import data
from TP import tp
from PPT import ppt

class Ui_MainWindow(QMainWindow):

    # 构造方法
    def __init__(self):
        super(Ui_MainWindow, self).__init__()
        self.setupUi(self)  # 初始化窗体设置


    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(786, 600)

        MainWindow.setAutoFillBackground(True)
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setStyleSheet("border-image: url(:/jpg/bg.jpg);")
        self.centralwidget.setObjectName("centralwidget")
        MainWindow.setCentralWidget(self.centralwidget)
        self.menubar = QtWidgets.QMenuBar(MainWindow)
        self.menubar.setGeometry(QtCore.QRect(0, 0, 786, 26))
        self.menubar.setObjectName("menubar")
        self.menu = QtWidgets.QMenu(self.menubar)
        self.menu.setObjectName("menu")
        self.menu_2 = QtWidgets.QMenu(self.menubar)
        self.menu_2.setObjectName("menu_2")
        self.menu_3 = QtWidgets.QMenu(self.menubar)
        self.menu_3.setObjectName("menu_3")
        self.menu_4 = QtWidgets.QMenu(self.menubar)
        self.menu_4.setObjectName("menu_4")
        self.menuPPT = QtWidgets.QMenu(self.menubar)
        self.menuPPT.setObjectName("menuPPT")
        self.menu_5 = QtWidgets.QMenu(self.menubar)
        self.menu_5.setObjectName("menu_5")
        MainWindow.setMenuBar(self.menubar)
        self.statusbar = QtWidgets.QStatusBar(MainWindow)
        self.statusbar.setObjectName("statusbar")
        MainWindow.setStatusBar(self.statusbar)

        self.actionyanz = QtWidgets.QAction(MainWindow)
        self.actionyanz.setObjectName("actionyanz")
        self.actionguanyu = QtWidgets.QAction(MainWindow)
        self.actionguanyu.setObjectName("actionguanyu")
        self.actionhezuo = QtWidgets.QAction(MainWindow)
        self.actionhezuo.setObjectName("actionhezuo")
        self.actionsjpc = QtWidgets.QAction(MainWindow)
        self.actionsjpc.setObjectName("actionsjpc")
        self.actiontppq = QtWidgets.QAction(MainWindow)
        self.actiontppq.setObjectName("actiontppq")
        self.actionsp = QtWidgets.QAction(MainWindow)
        self.actionsp.setObjectName("actionsp")
        self.actionppt = QtWidgets.QAction(MainWindow)
        self.actionppt.setObjectName("actionppt")
        self.actionzz = QtWidgets.QAction(MainWindow)
        self.actionzz.setObjectName("actionzz")

        self.menu.addAction(self.actionyanz)
        self.menu.addSeparator()
        self.menu.addAction(self.actionguanyu)
        self.menu.addAction(self.actionhezuo)
        self.menu_2.addAction(self.actionsjpc)
        self.menu_3.addAction(self.actiontppq)
        self.menu_4.addAction(self.actionsp)
        self.menuPPT.addAction(self.actionppt)
        self.menu_5.addAction(self.actionzz)
        self.menubar.addAction(self.menu.menuAction())
        self.menubar.addAction(self.menu_2.menuAction())
        self.menubar.addAction(self.menu_3.menuAction())
        self.menubar.addAction(self.menu_4.menuAction())
        self.menubar.addAction(self.menuPPT.menuAction())
        self.menubar.addAction(self.menu_5.menuAction())

        self.retranslateUi(MainWindow)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)
        getTime = QtCore.QDateTime.currentDateTime()
        time = getTime.toString("yyyy-MM-dd HH:mm:ss")
        self.statusbar.showMessage("程序开始时间为：" + time + "|星梦工作室|负责人：刘文豪")

        self.menu.triggered[QtWidgets.QAction].connect(self.openVerification)
        self.menu_2.triggered[QtWidgets.QAction].connect(self.openData)
        self.menu_3.triggered[QtWidgets.QAction].connect(self.openTP)
        self.menu_4.triggered[QtWidgets.QAction].connect(self.openSP)
        self.menuPPT.triggered[QtWidgets.QAction].connect(self.openPPT)
        self.menu_5.triggered[QtWidgets.QAction].connect(self.openZZB)

    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "给我爬"))
        self.menu.setTitle(_translate("MainWindow", "网站可爬域"))
        self.menu_2.setTitle(_translate("MainWindow", "数据爬取"))
        self.menu_3.setTitle(_translate("MainWindow", "图片爬取"))
        self.menu_4.setTitle(_translate("MainWindow", "视频爬取"))
        self.menuPPT.setTitle(_translate("MainWindow", "PPT爬取"))
        self.menu_5.setTitle(_translate("MainWindow", "资源包爬取"))
        self.actionyanz.setText(_translate("MainWindow", "验证合法性"))
        self.actionguanyu.setText(_translate("MainWindow", "关于"))
        self.actionhezuo.setText(_translate("MainWindow", "合作"))
        self.actionsjpc.setText(_translate("MainWindow", "数据爬取"))
        self.actiontppq.setText(_translate("MainWindow", "图片爬取"))
        self.actionsp.setText(_translate("MainWindow", "视频爬取"))
        self.actionppt.setText(_translate("MainWindow", "ppt爬取"))
        self.actionzz.setText(_translate("MainWindow", "资源爬取"))


    def openVerification(self, m):
        if m.text() == "关于":
            QMessageBox.about(None, "关于", "本软件开发设计是为了学习技术，没有任何盈利性的目的，本人不承担任何法律责任")
        elif m.text() == "合作":
            QMessageBox.about(None, "合作", "找我合作：www.wenhaosuper.topb")
        elif m.text() == "验证合法性":
            self.m = Verification.Ui_MainWindow()
            self.m.show()

    def openData(self, m):
        if m.text() == "数据爬取":
            self.m = data.Ui_MainWindow()
            self.m.show()

    def openTP(self, m):
        if m.text() == "图片爬取":
            self.m = tp.Ui_MainWindow()
            self.m.show()

    def openPPT(self, m):
        if m.text() == "ppt爬取":
            self.m = ppt.Ui_MainWindow()
            self.m.show()

    def openSP(self, m):
        if m.text() == "视频爬取":
            QMessageBox.about(None, "尚在开发", "更多精彩还在开发中")

    def openZZB(self, m):
        if m.text() == "资源爬取":
            QMessageBox.about(None, "尚在开发", "更多精彩还在开发中")









if __name__ == '__main__':
    app = QtWidgets.QApplication(sys.argv)
    MainWindow = QtWidgets.QMainWindow()  # 创建窗体对象
    ui = Ui_MainWindow()  # 创建PyQt5设计的窗体对象
    ui.setupUi(MainWindow)  # 调用PyQt5窗体的方法对窗体对象进行初始化设置
    MainWindow.show()  # 显示窗体
    sys.exit(app.exec_())  # 程序关闭时退出进程

爬取数据文章的页面：data.py

# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'data.ui'
#
# Created by: PyQt5 UI code generator 5.15.4
#
# WARNING: Any manual changes made to this file will be lost when pyuic5 is
# run again.  Do not edit this file unless you know what you are doing.
import sys
import time
from dbMySQL import service
from SpiderWeb.vfWeb import getMessage
from PyQt5 import QtCore, QtGui, QtWidgets
from PyQt5.QtWidgets import *


class Ui_MainWindow(QMainWindow):

    # 构造方法
    def __init__(self):
        super(Ui_MainWindow, self).__init__()
        self.setupUi(self)  # 初始化窗体设置


    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(800, 528)
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setObjectName("centralwidget")
        self.label = QtWidgets.QLabel(self.centralwidget)
        self.label.setGeometry(QtCore.QRect(30, 20, 91, 41))
        self.label.setStyleSheet("font: 12pt \"Adobe 黑体 Std R\";")
        self.label.setObjectName("label")
        self.lineEdit = QtWidgets.QLineEdit(self.centralwidget)
        self.lineEdit.setGeometry(QtCore.QRect(130, 20, 311, 31))
        self.lineEdit.setStyleSheet("font: 11pt \"黑体\";")
        self.lineEdit.setText("")
        self.lineEdit.setObjectName("lineEdit")
        self.label_2 = QtWidgets.QLabel(self.centralwidget)
        self.label_2.setGeometry(QtCore.QRect(40, 70, 72, 15))
        self.label_2.setText("")
        self.label_2.setObjectName("label_2")
        self.label_3 = QtWidgets.QLabel(self.centralwidget)
        self.label_3.setGeometry(QtCore.QRect(30, 70, 181, 41))
        self.label_3.setStyleSheet("font: 12pt \"Adobe 黑体 Std R\";")
        self.label_3.setObjectName("label_3")
        self.lineEdit_2 = QtWidgets.QLineEdit(self.centralwidget)
        self.lineEdit_2.setGeometry(QtCore.QRect(210, 70, 581, 31))
        self.lineEdit_2.setStyleSheet("font: 11pt \"黑体\";")
        self.lineEdit_2.setText("")
        self.lineEdit_2.setObjectName("lineEdit_2")
        self.pushButton = QtWidgets.QPushButton(self.centralwidget)
        self.pushButton.setGeometry(QtCore.QRect(542, 17, 151, 41))
        self.pushButton.setStyleSheet("font: 14pt \"黑体\";")
        self.pushButton.setObjectName("pushButton")
        self.textEdit = QtWidgets.QTextEdit(self.centralwidget)
        self.textEdit.setGeometry(QtCore.QRect(33, 146, 741, 251))
        self.textEdit.setOverwriteMode(True)
        self.textEdit.setObjectName("textEdit")
        self.label_4 = QtWidgets.QLabel(self.centralwidget)
        self.label_4.setGeometry(QtCore.QRect(30, 110, 171, 31))
        self.label_4.setStyleSheet("font: 12pt \"Adobe 黑体 Std R\";")
        self.label_4.setObjectName("label_4")
        self.progressBar = QtWidgets.QProgressBar(self.centralwidget)
        self.progressBar.setGeometry(QtCore.QRect(210, 110, 421, 23))
        self.progressBar.setProperty("value", 0)
        self.progressBar.setObjectName("progressBar")
        self.label_5 = QtWidgets.QLabel(self.centralwidget)
        self.label_5.setGeometry(QtCore.QRect(240, 410, 91, 21))
        self.label_5.setStyleSheet("font: 12pt \"黑体\";")
        self.label_5.setObjectName("label_5")
        self.checkBox = QtWidgets.QCheckBox(self.centralwidget)
        self.checkBox.setGeometry(QtCore.QRect(340, 410, 101, 19))
        self.checkBox.setObjectName("checkBox")
        self.checkBox_2 = QtWidgets.QCheckBox(self.centralwidget)
        self.checkBox_2.setGeometry(QtCore.QRect(340, 440, 121, 19))
        self.checkBox_2.setObjectName("checkBox_2")
        self.pushButton_2 = QtWidgets.QPushButton(self.centralwidget)
        self.pushButton_2.setGeometry(QtCore.QRect(550, 410, 151, 41))
        self.pushButton_2.setStyleSheet("font: 14pt \"黑体\";")
        self.pushButton_2.setObjectName("pushButton_2")
        MainWindow.setCentralWidget(self.centralwidget)
        self.menubar = QtWidgets.QMenuBar(MainWindow)
        self.menubar.setGeometry(QtCore.QRect(0, 0, 800, 26))
        self.menubar.setObjectName("menubar")
        MainWindow.setMenuBar(self.menubar)
        self.statusbar = QtWidgets.QStatusBar(MainWindow)
        self.statusbar.setObjectName("statusbar")
        MainWindow.setStatusBar(self.statusbar)

        self.retranslateUi(MainWindow)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)

        self.pushButton.clicked.connect(self.actiondata)
        self.pushButton_2.clicked.connect(self.save)



    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "数据爬取"))
        self.label.setText(_translate("MainWindow", "目标网址："))
        self.label_3.setText(_translate("MainWindow", "目标资源结构路径："))
        self.pushButton.setText(_translate("MainWindow", "开始爬取"))
        self.label_4.setText(_translate("MainWindow", "爬取进度及显示："))
        self.label_5.setText(_translate("MainWindow", "保存选项："))
        self.checkBox.setText(_translate("MainWindow", "保存到文件"))
        self.checkBox_2.setText(_translate("MainWindow", "保存到数据库"))
        self.pushButton_2.setText(_translate("MainWindow", "开始保存"))


    def actiondata(self):
        self.a = []
        self.b = []
        url = self.lineEdit.text()
        cssPath = self.lineEdit_2.text()
        if url == "" or cssPath == "":
            QMessageBox.about(None, "警告", "你没有填写任何内容")
        else:
            try:
                self.data = getMessage(url, cssPath)
            except:
                self.textEdit.setPlainText("爬取失败")
            self.progressBar.setMaximum(len(self.data))
            self.step = 0
            try:
                for i in self.data:
                    title = i.get_text("title")
                    self.b.append(title)
                    weburl = i.get("href")
                    newpath = '#article > p'
                    message = getMessage(weburl, newpath)
                    s = ''
                    for j in message:
                        s = s + j.get_text()
                    self.b.append(s)
                    self.textEdit.append("-------------------------------------------")
                    self.textEdit.append(title)
                    self.textEdit.append(s)
                    self.step = self.step + 1
                    self.progressBar.setValue(self.step)
                    self.a.append(self.b)
                    self.b = []
            except:
                self.textEdit.setPlainText("爬取失败！")


    def save(self):
        if self.checkBox.isChecked() and self.checkBox_2.isChecked():
            nowtime = time.strftime('%Y%m%d-%H-%M-%S', time.localtime()) + ".txt"
            fw = open("../CK/data/{}".format(nowtime), "w+")
            for m, n in self.a:
                title = m
                s = n
                service.exec("insert into data(title, weburl) value (%s, %s)", (title, s))
                fw.write(title + "\n")
                fw.write(s + "\n")
            fw.close()
        elif self.checkBox_2.isChecked():
            for m, n in self.a:
                title = m
                s = n
                service.exec("insert into data(title, weburl) value (%s, %s)", (title, s))
        elif self.checkBox.isChecked():
            nowtime = str(time.strftime('%Y%m%d-%H-%M-%S', time.localtime())) + ".txt"
            path = "../CK/data/" + nowtime
            print(path)
            fw = open(path, "w+", encoding="utf8")
            for m, n in self.a:
                title = m
                s = n
                fw.write(title + "\n")
                fw.write(s + "\n")
            fw.close()

图片爬取页面：tp.py

# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'tp.ui'
#
# Created by: PyQt5 UI code generator 5.15.4
#
# WARNING: Any manual changes made to this file will be lost when pyuic5 is
# run again.  Do not edit this file unless you know what you are doing.
import sys
import time
import requests
from PyQt5 import QtCore, QtGui, QtWidgets
from SpiderWeb.vfWeb import downImg
from PyQt5.QtWidgets import *


class Ui_MainWindow(QMainWindow):

    # 构造方法
    def __init__(self):
        super(Ui_MainWindow, self).__init__()
        self.setupUi(self)  # 初始化窗体设置

    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(569, 386)
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setObjectName("centralwidget")
        self.label = QtWidgets.QLabel(self.centralwidget)
        self.label.setGeometry(QtCore.QRect(10, 30, 131, 31))
        self.label.setStyleSheet("font: 11pt \"Adobe 黑体 Std R\";")
        self.label.setObjectName("label")
        self.lineEdit = QtWidgets.QLineEdit(self.centralwidget)
        self.lineEdit.setGeometry(QtCore.QRect(140, 30, 391, 31))
        self.lineEdit.setStyleSheet("font: 57 10pt \"Adobe Myungjo Std M\";")
        self.lineEdit.setObjectName("lineEdit")
        self.label_2 = QtWidgets.QLabel(self.centralwidget)
        self.label_2.setGeometry(QtCore.QRect(10, 70, 141, 31))
        self.label_2.setStyleSheet("font: 11pt \"Adobe 黑体 Std R\";")
        self.label_2.setObjectName("label_2")
        self.lineEdit_2 = QtWidgets.QLineEdit(self.centralwidget)
        self.lineEdit_2.setGeometry(QtCore.QRect(150, 70, 401, 31))
        self.lineEdit_2.setStyleSheet("font: 57 10pt \"Adobe Myungjo Std M\";")
        self.lineEdit_2.setObjectName("lineEdit_2")
        self.textEdit = QtWidgets.QTextEdit(self.centralwidget)
        self.textEdit.setGeometry(QtCore.QRect(20, 160, 531, 131))
        self.textEdit.setOverwriteMode(True)
        self.textEdit.setObjectName("textEdit")
        self.progressBar = QtWidgets.QProgressBar(self.centralwidget)
        self.progressBar.setGeometry(QtCore.QRect(140, 110, 411, 31))
        self.progressBar.setProperty("value", 0)
        self.progressBar.setObjectName("progressBar")
        self.label_3 = QtWidgets.QLabel(self.centralwidget)
        self.label_3.setGeometry(QtCore.QRect(10, 110, 121, 31))
        self.label_3.setStyleSheet("font: 11pt \"Adobe 黑体 Std R\";")
        self.label_3.setObjectName("label_3")
        self.pushButton = QtWidgets.QPushButton(self.centralwidget)
        self.pushButton.setGeometry(QtCore.QRect(220, 300, 121, 31))
        self.pushButton.setObjectName("pushButton")
        MainWindow.setCentralWidget(self.centralwidget)
        self.menubar = QtWidgets.QMenuBar(MainWindow)
        self.menubar.setGeometry(QtCore.QRect(0, 0, 569, 26))
        self.menubar.setObjectName("menubar")
        MainWindow.setMenuBar(self.menubar)
        self.statusbar = QtWidgets.QStatusBar(MainWindow)
        self.statusbar.setObjectName("statusbar")
        MainWindow.setStatusBar(self.statusbar)

        self.retranslateUi(MainWindow)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)

        self.pushButton.clicked.connect(self.actiondata)


    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "图片爬取"))
        self.label.setText(_translate("MainWindow", "图片目标网址："))
        self.label_2.setText(_translate("MainWindow", "网址的路径结构："))
        self.label_3.setText(_translate("MainWindow", "爬取下载进度："))
        self.pushButton.setText(_translate("MainWindow", "开始爬取"))


    def actiondata(self):
        a = 1
        url = self.lineEdit.text()
        cssPath = self.lineEdit_2.text()
        nowtime = time.strftime('%Y%m%d-%H-%M-%S', time.localtime())
        path = "../CK/img/{}".format(nowtime)
        try:
            data = downImg(url, cssPath, path)
        except:
            self.textEdit.setPlainText("爬取出错！！")
        self.progressBar.setMaximum(len(data))
        self.step = 0
        try:
            for i in data:
                imgurl = i.get("src")
                self.textEdit.append(imgurl)
                self.step = self.step + 1
                self.progressBar.setValue(self.step)
                newpath = path + "/第{}张".format(a) + ".png"
                fw = open(newpath, 'wb')
                r = requests.get("https:" + imgurl)
                r.raise_for_status()
                fw.write(r.content)
                fw.close()
                a = a + 1
                time.sleep(0.5)
        except:
            self.textEdit.setPlainText("爬取出错！！")

本项目核心代码很简单就几句话vfWeb.py：

#-*-coding:utf-8-*-
# 刘文豪
# 大帅哥
import requests
from bs4 import BeautifulSoup
import os


def vf(url):
    response = requests.get(url)
    response.encoding = "UTF8"
    html = response.text
    return html


def getHTML(url, cssPath):
    response = requests.get(url)
    response.encoding = "utf8"
    Htlmtext = response.text
    soup = BeautifulSoup(Htlmtext, "lxml")
    data = soup.select(cssPath)
    return data


def getMessage(url, cssPath):
    data = getHTML(url, cssPath)
    return data

def downImg(url, caaPath, path):
    IMG = os.path.exists(path)
    if not IMG:
        os.mkdir(path)
    data = getMessage(url, caaPath)
    return data

def downPPT(url, cssPath, path):
    PPTurl = os.path.exists(path)
    if not PPTurl:
        os.mkdir(path)
    data = getMessage(url, cssPath)
    return data







# url = "https://mil.news.sina.com.cn/"
# cssPath = "body > div.wrap > div.zgjq > div.left > ul.part1.arcticle-list > li > a"
# getMessage(url, cssPath)

封装数据库操作service.py：

# -*- coding: utf-8 -*-

import pymysql # 导入操作MySQL数据库的模块


userName="" # 记录用户名

# 打开数据库连接
def open():
    db = pymysql.connect(host="localhost", user="root", password="196811", database="spidermessage", charset="utf8")
    return db # 返回连接对象

# 执行数据库的增、删、改操作
def exec(sql,values):
    db=open()  # 连接数据库
    cursor = db.cursor()  # 使用cursor()方法获取操作游标
    try:
        cursor.execute(sql, values)  # 执行增删改的SQL语句
        db.commit()  # 提交数据
        return 1   # 执行成功
    except:
        db.rollback() # 发生错误时回滚
        return 0  # 执行失败
    finally:
        cursor.close()  # 关闭游标
        db.close()  # 关闭数据库连接

# 带参数的精确查询
def query(sql,*keys):
    db=open() # 连接数据库
    cursor = db.cursor()  # 使用cursor()方法获取操作游标
    cursor.execute(sql, keys)  # 执行查询SQL语句
    result = cursor.fetchall()  # 记录查询结果
    cursor.close()  # 关闭游标
    db.close()  # 关闭数据库连接
    return result  # 返回查询结果

# 不带参数的模糊查询
def query2(sql):
    db=open() # 连接数据库
    cursor = db.cursor() # 使用cursor()方法获取操作游标
    cursor.execute(sql) # 执行查询SQL语句
    result = cursor.fetchall() # 记录查询结果
    cursor.close() # 关闭游标
    db.close() # 关闭数据库连接
    return result # 返回查询结果

好了项目代码就这么多如果需要直接下载的话这里有连接
快速链接
代码下载入口

是南巷的花猫啊
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
爬虫实践（一）
QTT_Rookie的博客
10-13 354
前言 Python拥有非常多的有意思的库，让开发出一款小程序所需的精力比使用其他语言相对较少了些，这才有了这篇文章。 0x001 在开始编程之前，我们需要安装一些库，今天用到有request，csv，lxml，time。 其中request和lxml需要另外下载。如有需要可以在百度上搜索。 0x002 本人呢比较喜欢看美剧，每天都会去看影视网站有没有更新，自从我学习了爬虫，我就在想，我爬下来直接看不好吗，说干就干！ 首先，我们先创建个项目，添加一个fielm.py文件，让我们开始码代码吧。 ..
基于QT+MYSQL+爬虫的图片检索器.zip
01-19
这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本...
利用QT编写一个简单爬虫程序
热门推荐
月下独奏的博客
07-12 1万+
从高中到大学，一直在固定小说网中下载小说，小说网停机过好几次但最后又起死回生。最近萌发一个想法，把小说网里的小说都爬下来。。 既然要爬网站肯定要对网站结构十分了解，幸好小说网没有弄什么登陆防爬措施，结构还是很简单的。 几个分类，各个分类下按页以时间排序 获取小说详细页地址其实很简单，利用正则表达式即可获得。 作者：星殒落大小：5.3MB等级：更新：2017-07-12
Qt 简单爬虫开发
易水寒
03-27 8714
1. 为什么使用Qt写爬虫？老实说爬虫非常关键是效率，所以说用qt来写不是一个好的选择。。。。但是我的需求比较轻量级，就用qt了，qt跨平台，UI不错，然后连接数据库方便，所以用来搞也不是一个坏选择。2.爬虫主要的内容基本爬虫就是请求地址，然后用正则表达式对结果进行处理，然后存到数据库中。大概就三步。这里只涉及到用get方式来获取。有一些数据还需要post。还有一些需要登录后，涉及到cookie,
毕业设计-基于python招聘岗位数据爬虫及可视化分析设计：Python + Requests+Mysql+Echarts
06-08
毕业设计——基于python招聘岗位数据爬虫及可视化分析设计：Python + Requests+Mysql+Echarts 基于python招聘岗位数据爬虫及可视化分析设计 开发软件：Pycharm + Python3.7 + Requests库爬取 + Mysql + Echarts ...
python+requests+pytest 接口自动化框架(8)
06-06
python+requests+pytest+allure+yaml 一、数据类型处理 “${read_extract_data(tag_id)}” 替换成 110 二、DDT数据驱动封装 数据驱动可以利用 excel，csv，yaml 用excel，csv的缺点 1.数据类型难处理 2.调用函数不是...
python+requests+pytest 接口自动化框架(1-4)
06-02
python+requests+pytest 接口自动化框架 1 pytest插件，运行规则以及参数，pytest.ini配置文 件，跳过用例，用例执行顺序，夹具等 2 Fixture固件，contest.py，断言以及Allure报告生成 3 Pytest测试框架之Allure报告...
基于Python的招聘岗位数据爬虫及可视化分析(Python + Requests+Mysql+Echarts)
01-10
《基于Python的招聘岗位数据爬虫及可视化分析(Python + Requests+Mysql+Echarts)》——从数据爬取到可视化的全面指南 对于数据分析、市场研究以及招聘领域的同学来说，这是一份宝贵的资源。它涵盖了从数据爬取到...
Qt实现简易爬虫
03-18
用Qt实现的简易爬虫主要用了Qt中的网络访问和正则表达式。
Qt-有趣的爬虫
04-22
Qt4 实现透明窗体, gif图片透明显示, 屏幕爬虫, 按Ctrl+Alt+Q退出(注册快捷键成功的话,winEventFilter方式实现).
python爬虫爬取企业详细信息
02-23
python爬虫爬取企业详细信息,并保存到mysql数据库，包含代理IP的使用。
基于QT(+MySQL)的学生信息管理系统的开发
01-24
基于QT(+MySQL)的学生信息管理系统的开发
Python爬虫与数据库编程
SpiderManfire的博客
10-04 424
Python爬虫与数据库编程
Python爬虫+数据可视化
zhao99888的博客
08-11 1039
一、工具和环境 IDE：Pycharm 第三方模块 1.jieba 主要功能：处理分词 2.requests 主要功能：获取接口数据 3.sqlite3 主要功能：进行数据库相关操作 4. matplotlib主要功能：进行绘图 5.ecahrts 主要功能：数据可视化 6.flask 主要功能：web展示 7.bs4 主要功能：网页解析 环境 python3.9 浏览器：Chrome浏览器 二、数据准备阶段 该案例中的数据是通过爬虫爬取豆瓣网优秀电影前250部。数据内容涉及电影链接、名称、简介、相关信息等
基于python百度api的植物识别
babyai996的博客
05-28 1042
基于python百度api的植物识别 效果图： 效果视频： 基于python百度api的植物识别 项目下载链接： 链接：https://pan.baidu.com/s/18XqliKMKDfSSgWcq59CBow 提取码：envy 复制这段内容后打开百度网盘手机App，操作更方便哦--来自百度网盘超级会员V1的分享 ...
Qt+python+爬虫
qq_40531588的博客
04-08 1318
通过request请求，获得数据用Json解析数据，对数据提取，将这个写成一个py文件留出用于QT文件的接口
Qt5 网页标题、关键词提取工具Findyou
Alsn86的博客
12-20 1032
寻找网页里面的标题和关键词
python+pytest+requests+allure
最新发布
06-15
Python + pytest + requests + allure 是一组在软件测试领域非常常见的组合，它们各自的作用如下： 1. **Python**：这是一种流行的高级编程语言，以其简洁的语法和丰富的库而闻名，特别适合快速开发和数据处理。 2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值