通过Python的PyQt4，实现对网页加载JS加密内容进行多个URL爬取，如何实现显示当前爬取进度？

最新推荐文章于 2021-08-01 23:13:27 发布
最新推荐文章于 2021-08-01 23:13:27 发布
阅读量940 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47196630/article/details/108722843
版权 
# !/usr/bin/env python3
# -*- coding:utf-8 -*-
# @Time : 2020/9/20 21:26 
# @Author : aslen168
# @File : 测试5.py 
# @Software: PyCharm

import sys
from PyQt4 import QtCore, QtGui, QtWebKit
import requests
import bs4
import os
import pathlib

# 根据输入的小说主页，进入小说目录页，获取所有章节的网址。
url = input('请输入小说主页：')
# url = "https://aabook.cc/book.php?id=3100"
domain = url.split('book.php')[0]
# print(domain)
url2 = url.replace('book.php', 'archive.php')
# print(url2)
headers = {
   
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) '
                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
res = requests.get(url=url2, headers=headers)
res.encoding = res.apparent_encoding  # requests包get响应内容中文乱码解决方法
html = res.text
# print(html)
soup = bs4.BeautifulSoup(html, 'html.parser')
# print(soup)
chapters = soup.find(class_="section_list").find_all('a')
# print(chapters[0]['href'])
最低0.47元/天 解锁文章
weixin_47196630
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyQt4中QwebView控件显示html文件与中文乱码
wowokaoaa的专栏
09-29 6879
要想显示一个html文件，可以利用PyQt4的QTextBrowser，QwebView控件。其中QwebView有更多的操作可以选择，你可以展现和编辑网页文档。 小菜鸟一个，项目需要一个展示html文件的功能，记下笔记。   首先设计个简单的界面   利用函数void QWebView::load ( const QUrl & url )即可加载html文件
python javascript渲染库_[Python]爬虫技术:(JavaScript渲染)动态页面抓取超级指南
weixin_31598511的博客
03-01 508
很明显，这是一个含有 JavaScript 渲染的网页。我想要抓取网页中所有的档案信息和相应的链接信息。那么我该怎么处理呢？首先，我们利用 HTTP 方法无法获得任何信息。importrequestsfromlxmlimporthtml#storingresponseresponse=requests.get('http://pycoders.com/archive')#crea...
python执行javascript网页_python 用 pyqt4 实现的网页抓取，可以执行javascript，还可以用此来截图...
weixin_39841002的博客
11-23 121
---------这个把下载的网页保存在一个文件里---------------------------------------------------# coding: utf8import sysimport signalfrom optparse import OptionParserfrom PyQt4.QtCore import *from PyQt4.QtGui import *fro...
pyqt加载url图片
StrongStrong_的博客
06-15 926
首先下载安装requests模块 uos下： apt-get install python3-requests 然后导入模块 import requests url = 'http://192.168.10.197/png/deb.jpg' req = requests.get(url) photo = QPixmap() photo.loadFromData(req.content) self.label_18.setPi
关于Qt 加载网页（一） QWebengineView
weixin_42043127的博客
08-01 1万+
最近遇见了QWebengineView* createWindow 一旦return this就会崩溃，因为我想要在同一个页面内点击链接然后重新加载URL。但是Qt的帮助信息告诉我，需要利用QWebengineView* createWindow函数来新建一个QWebengineView对象，并且返回才可以实现。但是这种做法有一个明显的bug，那就是随着页面打开次数的增加，内存迟早要占满。当然Qt给出的解决思路是将新建的QWebEngineView指定一个父窗口来显示，然后通过开关这个父窗口来控制这个新建Q
基于Python PyQt5实现的音频播放器源码（期末大作业）.zip
最新发布
03-03
基于Python PyQt5实现的音频播放器源码（期末大作业）.zip基于Python PyQt5实现的音频播放器源码（期末大作业）.zip基于Python PyQt5实现的音频播放器源码（期末大作业）.zip基于Python PyQt5实现的音频播放器源码...
Python-用pyqt5实现一个在Windows任务栏通过奔跑的猫来显示当前系统资源cpu占用情况
08-10
标题中的“Python-用pyqt5实现一个在Windows任务栏通过奔跑的猫来显示当前系统资源cpu占用情况”指的是利用Python编程语言，结合PyQt5库，创建一个应用程序，该程序会在Windows系统的任务栏图标上展示一个动态的奔跑...
Python3和pyqt5实现控件数据动态显示方式
09-18
在Python3和PyQt5的GUI应用中，动态显示控件数据是一项重要的功能，特别是在实时监控或数据更新的场景下。本教程将介绍如何使用PyQt5的QThread和QTimer来实现这一功能，避免频繁刷新整个界面导致性能下降。 首先，...
Python+PyQt5+Mysql通过QSqlQueryModel实现的QTableView分页显示，表头排序等功能
04-29
2）点击标题栏实现列表内容排序功能（这个功能花了我很长时间，在全网就没找到合适的解决方法，要不是参考了Qt开发经验，采用了变通解决办法才最终得以解决） 2.本软件通过QSqlDatabase.addDatabase('QMYSQL')连接...
基于Python和PyQt5实现同一窗口下多界面切换
04-16
PyQt5是Python对Qt库的封装，Qt是一个功能强大的跨平台应用开发框架，支持Windows、Linux、macOS等多个操作系统。PyQt5提供了丰富的组件和类，使得开发者可以用Python编写出美观且功能齐全的GUI应用。 要实现同一...
转：55个javascript处理网页技巧
04-27 4664
出处：http://liping13599168.cnblogs.com/ 1. oncontextmenu="window.event.returnValue=false" 将彻底屏蔽鼠标右键<table border oncontextmenu=return(false)&...
python 3.4 PyQt4 QtWebKit 实现浏览器 开发者工具 network 获得页面 网络请求 参数
qq_37082495的博客
09-02 2795
安装 python34  ，pyqt4  下方链接  python有版本要求 python3.4.0 pyqt4 安装注意系统位数 32 or 64 pyqt4.exe安装路径是python的安装路径 （如：d:/python34） 安装介绍文档    https://blog.csdn.net/qq_27136227/article/details/78884409 python  ...
javascript 55种小技巧
It's my life . . .
07-21 5965
1. oncontextmenu="window.event.returnValue=false" 将彻底屏蔽鼠标右键&lt;table border oncontextmenu=return(false)&gt;&lt;td&gt;no&lt;/table&gt; 可用于Table2. &lt;body onselectstart="return false"&gt; 取消选取、防止复制3. o...
QT 嵌入url显示并打开
yxyy3604的专栏
02-23 2119
ui-&gt;label_url-&gt;setOpenExternalLinks(true); ui-&gt;label_url-&gt;setText("&lt;a href=\"http://blog.csdn.net/yxyy3604/\"&gt;打开MY CSDN");
linux 内核中的开发人员 名单 CREDITS文件
热门推荐
aa_jj的博客
10-15 12万+
内核初始文件创建者
python爬取网页中javascript动态添加的内容（一）
lht_okk的博客
12-01 2万+
这几天刚好在学Requests和BeautifulSoup结合做爬虫爬取网页内容，恰巧有个哥们在群里问select函数里应该怎么来填？我想也是我在学，不妨找他一起做做，如果能帮人那最好不过啦。 好吧，进入正题 本次爬取的网址是：https://movie.douban.com/，采用的浏览器是Chrome，内容为下图类似于电影的名字、评分，以及图片链接等等。 1.首先按照传统的方法 当
pyton利用pyqt5的QWebkit抓取javascript执行后的动态网页
Wolfwind521的专栏
12-24 4706
python利用pyqt5的QWebkit组件抓取javascript动态生成标签的网页
pyqt通过qtwebkit嵌入显示html与js
stypace的专栏
05-19 1万+
转自：http://www.vouov.com/2009/09/pyqt%E9%80%9A%E8%BF%87qtwebkit%E5%B5%8C%E5%85%A5%E6%98%BE%E7%A4%BAhtml%E4%B8%8Ejs/ 透过Python体验QtWebKit快速开发 转载:http://blog.linux.org.tw/~jserv/archives/002026.ht
python pyqt 实现一个按钮打开一个文件夹中所有图片并显示
06-28
### 回答1： Python和PyQt可以实现一个按钮打开一个文件夹中所有图片并显示，步骤如下： 1.导入必要的模块，包括os（用于文件夹及文件操作）、PyQt中的QtWidgets组件、PIL（Python Imaging Library，用于图片打开及显示）。 2.创建一个类，继承自QtWidgets中的QMainWindow，用于创建显示窗口并添加按钮。 3.在类中定义一个槽函数，用于处理按钮点击事件。槽函数中使用QFileDialog打开文件夹，使用os模块获取文件夹中所有图片文件的路径，并使用PIL打开并显示。 4.实例化类并运行。 具体代码如下： ```python import os from PyQt5.QtWidgets import QMainWindow, QFileDialog, QApplication, QLabel, QWidget, QVBoxLayout from PyQt5.QtGui import QPixmap from PIL import Image class MainWindow(QMainWindow): def __init__(self): super().__init__() # 创建一个QWidget，用于添加显示图片的标签 im_widget = QWidget() self.setCentralWidget(im_widget) layout = QVBoxLayout() im_widget.setLayout(layout) # 创建一个按钮，用于打开文件夹 self.button = QtWidgets.QPushButton("打开文件夹") self.button.clicked.connect(self.open_folder) layout.addWidget(self.button) # 创建一个标签，用于显示图片 self.label = QLabel() layout.addWidget(self.label) def open_folder(self): # 打开文件夹对话框 folder = QFileDialog.getExistingDirectory(self, "选择文件夹") if folder: # 遍历文件夹，获取所有图片文件路径 for filename in os.listdir(folder): if filename.lower().endswith(('.jpg', '.jpeg', '.png', '.bmp', '.gif')): filepath = os.path.join(folder, filename) # 使用PIL打开图片 image = Image.open(filepath) # 将PIL格式的图片转换为QPixmap pixmap = QPixmap.fromImage(ImageQt(image)) # 显示图片 self.label.setPixmap(pixmap) if __name__ == "__main__": app = QApplication([]) window = MainWindow() window.show() app.exec_() ``` 以上代码实现了一个窗口，并添加一个“打开文件夹”的按钮，点击该按钮，可以打开文件夹选择对话框，选择一个包含图片的文件夹后，该程序将遍历该文件夹，打开所有图片，并将其显示在窗口中。 ### 回答2： Python是一种高级编程语言，广泛用于开发各种应用程序。PyQT是一种基于Python的GUI（图形用户界面）编程工具包，可以方便地创建各种桌面应用程序。本文将介绍使用python pyqt实现一个按钮打开一个文件夹中所有图片并显示的过程。 第一步：安装 PyQT 在实现该功能之前，需要安装 PyQT 以及其他一些需要的库。可以使用pip命令安装它们。在终端或命令提示符中输入以下命令进行安装。 pip install PyQt5 pip install Pillow 完成安装后，就可以开始创建应用程序了。 第二步：创建GUI窗口 在pyqt中，可以使用QtDesigner应用程序创建GUI窗口。该程序可以使用拖放界面并设置组件属性的方式来创建GUI窗口。完成后，既可以将窗口转换为python代码，以方便在python应用程序中创建该窗口。创建完成后，可以使用以下代码将其加载到python应用程序中。 ```python from PyQt5.QtGui import * from PyQt5.QtCore import * from PyQt5.QtWidgets import * from PyQt5.uic import loadUiType import os from PIL import Image Ui_MainWindow, QMainWindow = loadUiType('mainwindow.ui') ``` 请注意，代码的第一行引用了PyQT5中的必要模块。 第二行引用系统和Python模块。 通常，这是GUI类的主要类。 第三行使用loadUiType来加载GUI窗口的UI文件，然后使用此UI文件的类创建主窗口的实例。 第三步：实现按钮操作 在实现该功能之前，需要在GUI窗口中添加按钮。添加后，可以使用以下代码实现按钮的操作。 ```python class Main(QMainWindow, Ui_MainWindow): def __init__(self, parent=None): super(Main, self).__init__(parent) self.setupUi(self) self.pushButton.clicked.connect(self.show_images) def show_images(self): folder_path = QFileDialog.getExistingDirectory(self, "选择文件夹", os.getcwd()) if folder_path: for root, dirs, files in os.walk(folder_path): for file in files: if file.endswith(('jpg', 'png', 'jpeg', 'bmp')): file_path = os.path.join(root, file) image = Image.open(file_path) image.show() ``` 在上面的代码中，创建了一个名为Main的类并继承了ui窗口类。 show_images函数是按钮单击的槽功能。QFileDialog.getExistingDirectory方法用于打开一个文件夹，然后将显示文件夹中所有图片的窗口。然后，使用os.walk遍历文件夹中的文件，并查找文件是否是图像。如果是图像，则使用Pillow库中的Image类打开它，并执行Image.show以在窗口中显示。完成后，该功能就可以使用了。 总结 在本文中，我们了解了Python pyqt如何实现一个按钮打开一个文件夹中所有图片并显示的功能。对于需要显示图像文件夹中的所有图像的应用程序来说，这是一种非常实用的功能。 该应用程序可以帮助用户更快地找到图像文件夹中的所有图像，并可以直接在应用程序中查看它们。希望这篇文章对Python和PyQt的学习有所帮助。 ### 回答3： 使用 Python 和 PyQt 实现一个按钮打开一个文件夹中所有图片并显示，需要经过以下几个步骤： 1. 导入必要的库和模块，包括 PyQt、os、Pillow（Python Imaging Library）等。 2. 创建一个界面，包括一个按钮和一个用于显示图片的控件。 3. 给按钮添加事件处理方法，当按钮被点击时，弹出文件选择框，让用户选择需要打开的文件夹。 4. 遍历所选文件夹中的所有图片文件，使用 Pillow 库读取图片并显示在控件中。 下面是具体实现的代码： ```python import os from PyQt5.QtWidgets import QApplication, QWidget, QLabel, QPushButton, QFileDialog from PyQt5.QtGui import QPixmap class MyWindow(QWidget): def __init__(self): super().__init__() self.initUI() def initUI(self): btn = QPushButton('打开文件夹', self) btn.resize(btn.sizeHint()) btn.move(20, 20) btn.clicked.connect(self.openFolder) self.label = QLabel(self) self.label.setGeometry(20, 60, 360, 360) self.setGeometry(300, 300, 400, 450) self.setWindowTitle('显示图片') self.show() def openFolder(self): folder_path = QFileDialog.getExistingDirectory(self, '选择文件夹', '/') if folder_path: self.showImages(folder_path) def showImages(self, folder_path): for filename in os.listdir(folder_path): if filename.endswith('.jpg') or filename.endswith('.png'): img_path = os.path.join(folder_path, filename) img = QPixmap(img_path) self.label.setPixmap(img) self.label.setScaledContents(True) if __name__ == '__main__': app = QApplication([]) window = MyWindow() app.exec_() ``` 在这个实现中，我们创建了一个名为 `MyWindow` 的类作为我们的主窗口，并在其中创建了一个按钮和一个标签用于显示图片。 当按钮被点击时，我们使用 QFileDialog 弹出一个文件选择框让用户选择需要打开的文件夹，并将所选文件夹路径传入 `showImages` 方法中。 在 `showImages` 方法中，我们使用 os 库遍历所选文件夹中的所有图片文件，并使用 Pillow 库中的 QPixmap 类读取图片。每读取一张图片后，我们将其显示在标签控件中。 最后，在 `if __name__ == '__main__':` 中，我们创建了一个 QApplication 对象和一个 MyWindow 对象，并在主循环中开始应用程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值