【PYTHON 随笔1】爬取百度图片

最新推荐文章于 2023-02-14 11:38:52 发布
最新推荐文章于 2023-02-14 11:38:52 发布
阅读量620 收藏
点赞数
分类专栏： Python笔记 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44637632/article/details/122213480
版权

利用python-pyQT来爬取百度图片

【一】准备

知识准备

  1. 前端基础(html, css e.t.c.)
  2. python基础
  3. pyQT基础
  4. 下面的模块相关知识

模块准备

  1. PtQt5 >> UI框架
  2. re >> 正则表达式处理字符串
  3. urllib3 >> python内置的http请求库
  4. bs4 >> 处理html对象及其tag对象
  5. requests >> 和urllib类似，为http请求库，但使用相对更为方便

构架准备

框架

【二】代码实现

主目录下

__init__.py

import Control
import Service
import Client

Main.py

import Client

if __name__ == "__main__":
    Client.client_App.main_Application()

Client目录(与用户的交互)

__init__.py

from Client import client_App

client_App.py

#!/usr/bin/python3
# -*- coding: utf-8 -*-

import sys
# 这里我们提供必要的引用。基本控件位于pyqt5.qtwidgets模块中。样式调整在PyQt5.QtGui
from PyQt5.QtWidgets import QApplication, QWidget, QToolTip, QPushButton, QLineEdit, QMessageBox, QDesktopWidget, \
    QLabel, QFileDialog
from PyQt5.QtGui import QIcon, QFont

from Service import imageCollector as imgc


class Spider_Application(QWidget):
    def __init__(self):
        super().__init__()
        # 创建一个按键类对象
        self.btn = QPushButton("Go", self)
        self.save_btn = QPushButton("+", self)
        # 创建一个行编辑类的对象
        self.search_item = QLineEdit(self)
        self.pages = QLineEdit(self)
        self.save_path = QLineEdit(self)
        # 创建标签类对象
        self.search_label = QLabel("Search Item: ", self)
        self.pages_label = QLabel("Page Number: ", self)
        self.path_label = QLabel("Save Path: ", self)

        self.init_UI()

    # 初始化UI设计
    def init_UI(self):
        # 这种静态的方法设置一个用于显示工具提示的字体。我们使用10px滑体字体。
        QToolTip.setFont(QFont('SansSerif', 10))

        # 设置窗口
        # 设置窗口大小
        self.resize(600, 600)
        # 设置窗口标题
        self.setWindowTitle("BaiDu Image Spider")
        # 设置图标
        self.setWindowIcon(QIcon("resources/net.png"))
        # 设置居中
        self.center()
        # 设置风格
        self.setStyleSheet("QLineEdit{\n"
                           "    border:0px;    \n"
                           "    border-bottom: 2px solid #B3B3B3;\n"
                           "    font-family:\'Microsoft YaHei\';\n"
                           "    font-weight:bold;\n"
                           "    }\n"
                           "\n"
                           "QLineEdit:hover{\n"
                           "    border-bottom: 3px solid #66A3FF;\n"
                           "    }\n"
                           "\n"
                           "QLineEdit:focus{\n"
                           "    border-bottom: 3px solid #E680BD;\n"
                           "    }\n"
                           "\n"
                           "QMessageBox{\n"
                           "    background-image: url(resources/net.png);\n"
                           "    }\n"
                           "\n"
                           "")

        # 设置按键
        # 对按钮设置提示说明
        self.btn.setToolTip("To <b>submit</b> information.")
        self.save_btn.setToolTip("To <b>select Save Directory</b>.")
        # 按键设置为默认大小
        self.btn.resize(self.btn.sizeHint())
        self.save_btn.resize(15, 25)
        # 设置按键相对位置
        self.btn.move(250, 450)
        self.save_btn.move(435, 250)

        # 设置行编辑框
        # 大小设置
        self.search_item.resize(300, 25)
        self.pages.resize(300, 25)
        self.save_path.resize(285, 25)
        # 相对位置设置
        self.search_item.move(150, 150)
        self.pages.move(150, 200)
        self.save_path.move(150, 250)
        # 对文本框进行设置说明
        self.search_item.setToolTip("Enter <b> what you want to spider... </b>")
        self.pages.setToolTip("<b>How many images</b> you want to get?")
        self.save_path.setToolTip("Default save path is <b>Desktop</b>.")
        # 文本框不可输入字符
        self.save_path.setEnabled(False)

        # 设置标签类
        # 大小设置
        self.search_label.resize(100, 25)
        self.pages_label.resize(100, 25)
        self.path_label.resize(100, 25)
        # 相对位置设置
        self.search_label.move(45, 150)
        self.pages_label.move(45, 200)
        self.path_label.move(45, 250)

        # 设置按钮和文本框的关联关系
        self.btn.clicked.connect(lambda: self.btn_clickAction())
        self.save_btn.clicked.connect(lambda: self.file_btn_ClickAction())

        # 显示
        self.show()

    def btn_clickAction(self):
        # 打印出输入值
        item = self.search_item.text()
        num = self.pages.text()
        path = self.save_path.text()

        try:
            imgc.run_spider(item, int(num), path)
        except Exception:
            self.exception_process()

        print("USR INPUT:", item, num, path)

    # save_btn按键事件触发
    def file_btn_ClickAction(self):
        path = QFileDialog.getExistingDirectory(self, "Select Saving Path")
        self.save_path.setText(path)

    # 设置异常事件提示窗口
    def exception_process(self):
        self.setEnabled(False)
        box = QMessageBox(self)
        reply = box.question(box, 'Error', "Check your input information invalid?",
                             QMessageBox.Yes | QMessageBox.No,
                             QMessageBox.Yes)
        if reply == QMessageBox.Yes:
            box.close()
        else:
            box.close()
        self.setEnabled(True)

    # 设置窗口关闭事件，继承于QWidget类
    def closeEvent(self, event):
        reply = QMessageBox.question(self, 'Exit Spider', "Are you sure to quit?",
                                     QMessageBox.Yes | QMessageBox.No,
                                     QMessageBox.No)
        if reply == QMessageBox.Yes:
            event.accept()
        else:
            event.ignore()

    # 控制窗口显示在屏幕中心的方法
    def center(self):
        # 获得窗口
        qr = self.frameGeometry()
        # 获得屏幕中心点
        cp = QDesktopWidget().availableGeometry().center()
        # 显示到屏幕中心
        qr.moveCenter(cp)
        self.move(qr.topLeft())


def main_Application():
    # 每一pyqt5应用程序必须创建一个应用程序对象。sys.argv参数是一个列表，从命令行输入参数。
    app = QApplication(sys.argv)
    # 创建对象
    window = Spider_Application()
    # 系统exit()方法确保应用程序干净的退出
    # 的exec_()方法有下划线。因为执行是一个Python关键词。因此，exec_()代替
    sys.exit(app.exec_())


if __name__ == '__main__':
    main_Application()

Control目录（控件功能，工具函数）

__init__.py

from Control import file_op_Tools
from Control import url_Process

file_op_Tools.py

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import os

# 获取用户桌面的绝对路径
def get_desk_p():
    return os.path.join(os.path.expanduser('~'), "Desktop")


# 创建文件夹
def mkdir(path):
    path = path.strip()
    isExists = os.path.exists(path)

    if not isExists:
        print('创建文件夹' + path)
        os.makedirs(path)
        return True
    else:
        print('文件夹已经创建')
        return False

url_Process.py

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests

# 得到页面html代码
def getPage(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/79.0.3945.130 Safari/537.36'}
    html = requests.get(url, headers=headers).content.decode('utf-8')
    return html


# 获得新网页
def getNewPage(key):
    crude_url = "https://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1627513568150_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1627513568151%5E00_1519X739&sid=&word="
    crude_url += key
    return crude_url

Service目录（核心爬虫代码）

__init__.py

from Service import imageCollector

imageCollector.py

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import re
import time
import urllib

from bs4 import BeautifulSoup

from Control import file_op_Tools as ftool
from Control import url_Process as prc


# 输入图片的网络url路径和存储路径进行存储操作
def savaImg(picurl, saveurl):
    try:
        bytes = urllib.request.urlopen(picurl, timeout=15)
        file = open(saveurl, 'wb')
        file.write(bytes.read())
        file.flush()
        file.close()
        return True
    except Exception as e:
        print(picurl, ": ", str(e))
        return False


# 爬取图片
def run_spider(key, num, path):
    # 开始
    start = time.clock()

    # 初始化数据，若无路径，创建路径(默认路径为桌面)
    newhtml = prc.getNewPage(key)
    page_num = num
    diru = path
    # 检查路径合法性，并进行加工
    if len(diru) <= 0:
        diru = ftool.get_desk_p()+"\\SpiderImage"+"\\"+key+"\\"
    else:
        if diru[-1] != '\\':
            diru += '\\'
        diru += ("BaiDuSpider_"+key+"\\")
    ftool.mkdir(diru)

    print(newhtml)
    count = 0
    while True:
        # 页面内数据的准备, 获得网页对象，获得ThumbURL下的“***.jpg”存至列表
        url = newhtml
        html_text = prc.getPage(url)
        soup = BeautifulSoup(html_text, 'lxml')
        pictureimg = re.findall('"thumbURL":"(.*?)"', html_text)
        print("正在爬取页面：", pictureimg)

        # 页面内爬取所有图片
        for img in pictureimg:
            if savaImg(img, diru + key + str(count) + '.jpg'):
                print('保存成功：' + key+ str(count) + '.jpg')
                count += 1
                if count == page_num:
                    break
        if count == page_num:
            break

        # 获得下一页
        newhtml = "https://image.baidu.com" + soup.find('a', class_='n')['href']

    # 结束
    end = time.clock()
    print('下载成功，花费' + str(end - start) + '秒')


if __name__ == "__main__":
    item = input("你想要什么： ")
    num = int(input("想要多少张图片？： "))
    path = input("输入存储路径： ")

    run_spider(item, num, path)

resuorces目录(存放资源数据)

net.png
net

本目录主要是放置工程需要用到的资源；
spider_window.ui未使用请忽略, notes.md为本人笔记请忽略；

运行

  • 方式

sublime等可扩展文本编辑器，先将__init__.py文件都运行一遍，再运行主目录下的Main.py；
pycharm等集成开发环境(IDE)，直接运行Main.py即可

  • 结果
    ui界面
    ui
    控制台输出
    terminal_log输出结果展示
    结果文件夹结果图片

注意：合法爬虫，本文章主要用于学习，切勿用于非法用途

**@Sun King**
关注
专栏目录
python爬虫批量爬取百度图片
12-22
#最好用的一个 ...# 百度图片URL解码 # http://blog.csdn.net/hbuxiaoshe/article/details/44780653 str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b',
pyqt5制作的百度图片爬取
weixin_55647376的博客
10-03 156
from PyQt5.QtWidgets import * import sys from PyQt5.QtCore import Qt import requests import aiohttp,re,asyncio,aiofiles from lxml import etree import json # 图片下载 async def claw(url,pathname): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; .
【爬虫】如何通过爬虫，爬取百度图片？新手小白一看便会，内附超详细代码讲解
好学的小师弟的博客；华为云社区月度积极博主
09-05 1万+
大家好，我是好学的小师弟，今天来和大家分享下，如何通过爬虫，爬取百度图片，并下载保存到本地。 思路：
Python爬虫学习之爬取百度图片并保存到本地
qq_45742126的博客
01-09 583
import json, re ,os from urllib.request import Request, urlopen, urlretrieve def json_all(pn): links = [] for i in range(0, pn+1): url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10112593352318188956&ipn=rj&amp
用python写一个爬取百度图片的爬虫，百度网址是：www.baidu.com，百度是动态网页，要可以爬取常见图片类型...
weixin_42603332的博客
02-14 468
下面是一个使用 Python 实现爬取百度图片的简单示例代码： import requests import re import os def get_html(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C...
使用python和PyQt5编写爬取百度图片的界面工具
qq_42208386的博客
08-18 457
使用python和PyQt5编写爬取百度图片的界面工具 本篇文章的主要内容是展示我个人编写的，以界面小工具的方式爬取百度上面的图片，功能很单一，根据关键词爬取图片，代码很简单，新手上路请多指教。 代码介绍如下： 界面代码tools.py import sys #####pyqt5导入模块################ from PyQt5.QtWidgets import * from PyQt5.QtCore import * from PyQt5.QtGui import * from PyQt5 i
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
Python实现的爬取百度贴吧图片功能完整示例
09-19
### Python 实现的爬取百度贴吧图片功能 #### 概述 本文介绍了一个使用 Python 编写的简单爬虫程序，该程序能够从百度贴吧抓取图片。百度贴吧是中国最大的在线社区之一，拥有海量的帖子与图片资源。对于数据分析师...
python3实现爬取百度图片，包含详细注释
06-16
使用python3 urllib request re 等模块以及文件操作来实现爬取百度图片。包含三个文件，一个是代码，另外两个用来获取图片的数据，python代码在为indows和linux下都可以使用。直接可以运行，不过要注意下载到的图片...
python PyQt5 简单控件的使用示例--QLineEdit，持续更新中......
奔波尔灞
09-20 1022
# -*- coding: UTF-8 -*- import sys from PyQt5.QtWidgets import (QWidget , QLineEdit , QLabel , QApplication ) from PyQt5.QtGui import QIcon class Example(QWidget): def __init__(self): s...
PyQt5点击后弹窗新窗口
热门推荐
qq_38192709的博客
04-29 1万+
问题描述： 想使用PyQt5 点击后弹出一个新窗口 思路： 0： 首先得绘制一个窗口 1： 一个点击按钮 【 初始化 —> 布局 —> 触发新窗口 】 2： 引入另外一个文件的窗口展示 【 这个窗口也可以单独运行 】 图片演示： 代码： 这个方法，指向新的文件 layout1 def layoutFn(self): """ 想要有新的窗口， 引用其它已经写好的类 """ import layout1 # 这个是可以单独运行的窗口 self.one =
PyQt5之布局管理
CSDN博客
03-21 1035
目录 一 写在开头 1.1 本文内容 二 绝对布局 三 布局类 3.1 水平布局（QHBoxLayout）和垂直布局（QVBoxLayout） 3.2 水平布局和垂直布局实例 3.3 网格布局（QGridLayout） 3.4 网格布局实例 3.5 表单布局（QFormLayout） 3.6 表单布局实例 3.7 嵌套布局 3.8 布局管理器QSpl...
GUI学习之九——QLineEdit的学习总结
weixin_30345055的博客
04-27 870
我们在前面学习了各种按钮控件，从这一章开始就是各种输入控件的学习。 首先要用的就是QLineEdit——单行编辑器， 一描述 QLineEdit是一个单行文本编辑器，允许用户输入和编辑单行纯文本。自带一些编辑例如撤销、重做、剪切、粘贴等功能。 QLineEdit继承自QWidget类，具备父类各种API。 二.功能作用 1.创建控件，设置、获取文本 这个很简单，没啥说的 le ...
Python第一阶段学习 day11
JanLEE
06-30 309
""" 5. 创建电脑类,保护数据在有效范围内 数据:型号, CPU型号, 内存大小, 硬盘大小 不超过10个字符 大于0 元组长度大于等于1 """ class Computer: def __init__(self, model_number="", cpu="", memory=0, hard_disk=()): self.model_number = model_number
PyQt5中文基础教程7 控件1
xfyangle的博客
07-12 1285
控件就像是应用这座房子的一块块砖。PyQt5有很多的控件，比如按钮，单选框，滑动条，复选框等等。在本章，我们将介绍一些很有用的控件：QCheckBox，ToggleButton，QSlider，QProgressBar和QCalendarWidget。 + QCheckBox QCheckBox组件有俩状态：开和关。通常跟标签一起使用，用在激活和关闭一些选项的场景。 #!/us
qlistwidget添加自定义控件_PyQt5学习笔记（十一）高级容器控件
weixin_39644146的博客
11-22 1299
PyQt5中存在这样的一些控件，它们本身并没有作用，但是它们却可以当做一个主窗口中的小岛屿，在上面摆放（装载）各种布局和空间，将这些整合的布局和控件看做一个复合控件再加入主窗口，这类控件一般称为高级容器控件。高级容器控件的存在使得更加复杂的控件层次关系得以实现。选项卡控件（QTabWidget）什么是选项卡控件？还是拿万能的pycharm做例子：比如设置中的代码风格设置中的Python：比如最常见...
pyqt5 判断lineedit是否为空_PyQt5(3) ：实现登录 事件监听处理 程序逻辑功能和界面分离...
weixin_39740419的博客
12-07 2151
学习于： 学点编程吧：PyQt5图形界面编程（目录） 最终界面如下：然后是代码：import sys from PyQt5.QtWidgets import QApplication, QWidget, QPushButton, QMessageBox, QLineEdit, QLabel class Example(QWidget): def __init__(self): ...
PyQt5---QLineEdit集
u013934107的博客
06-22 489
from PyQt5.Qt import * import sys import math class AccountTool:#帐户判定类 ACCOUNT_ERROR=1 PWD_ERROR=2 SUCCESS=3 @staticmethod#定义静态方法 def check_login(account,pwd): #把帐号和密码发送给...
python 关键字 爬取 百度图片
最新发布
07-20
然后，我们可以编写Python代码来实现爬取百度图片的功能。 首先，我们需要导入上述所需的库： ``` import requests from bs4 import BeautifulSoup ``` 接下来，我们需要定义一个函数，将要爬取的网址作为参数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值