使用Python3批量保存贴吧图片-附爬虫程序

最新推荐文章于 2024-03-21 09:08:02 发布

Leo-Woo

最新推荐文章于 2024-03-21 09:08:02 发布

阅读量2.6k

点赞数

分类专栏： Python 爬虫文章标签： python 爬虫图片下载

本文链接：https://blog.csdn.net/imw_mg/article/details/77070860

版权

Python 同时被 2 个专栏收录

29 篇文章 1 订阅

订阅专栏

爬虫

15 篇文章 0 订阅

订阅专栏

测试运行环境：

Windows10、Python3.6、Pycharm IDE 2017.2

程序简介

其实刚学习Python十多天，有着“人生苦短，我用Python”的口号，Python的代码精简，学习易于上手。选用Python版本的时候，相信很多人有过纠结。纠结的同学可以去知乎查看一下众多的想法。而我之前从未接触过Python，因为想用来处理图像，上手OpenMV开发板，所以我选用了Python3。所以选择Python版本需要按照自己的用途来确定，我如果只是想掌握一门新语言，建议还是Python3，Python最新版本为3.6。现在企业工作，多数还是选用的较为成熟的Python2.7，网上例程也多是Python2。我学习Python的主要途径是廖雪峰-Python教程、小甲鱼Python、Python3|菜鸟教程等。廖雪峰的教程应该是各大论坛社区首要推荐的吧；小甲鱼的视频讲解很详细，时间充裕可以考虑；菜鸟教程讲解详细，就像详细版的中文文档。
使用Python3批量下载贴吧图片的程序是按照小甲鱼课程中的爬虫程序修改过来的，学了一点GUI界面，然后结合到一起弄成了一个小程序。
首先先放效果图：

这里我们演示就用大热的电影《战狼2》的导演吴京相关的贴吧页面做演示

页面直达

输入需要下载的贴吧网址和保存路径文件夹，如下所示：

点击下载后会在程序所在路径下创建一个 Baidutieba 的文件夹，我们进去可以看到刚才保存的图片

运行代码如下：

from tkinter import *
import urllib.request
import os
import re


# #####下载保存模块######
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent',
                   'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
    resp = urllib.request.urlopen(req)
    html = resp.read().decode('utf-8')
    return html


# #####根据得到的html文本查找网页中存在的图片####
def get_imgs(html):
    p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    imglist = re.findall(p, html)

    for each in imglist:
        filename = each.split('/')[-1]
        urllib.request.urlretrieve(each, filename, None)


def download():
    url = e1.get()
    folder = e2.get()
    print(url)
    print(folder)
    os.mkdir(folder)  # 创建文件夹
    os.chdir(folder)  # 切换到文件夹目录
    get_imgs(url_open(url))

# #######GUI界面############
root = Tk()
root.title('贴吧图片下载器')
Label(root, text='贴吧链接：').grid(row=0, column=0)
Label(root, text='下载目录：').grid(row=1, column=0)

e1 = Entry(root)
e2 = Entry(root)

e1.grid(row=0, column=1, padx=10, pady=5)
e2.grid(row=1, column=1, padx=10, pady=5)

Button(root, text='下载', width=10, command=download) \
    .grid(row=2, column=0, sticky=W, padx=10, pady=5)
Button(root, text='退出', width=10, command=root.quit) \
    .grid(row=2, column=1, sticky=E, padx=10, pady=5)

mainloop()