如何用python爬取图片，视频

已于 2023-10-29 12:08:33 修改
阅读量1.7k 收藏 2
点赞数 2
分类专栏： python 文章标签： python 音视频 开发语言
于 2023-10-29 12:06:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52348590/article/details/134101471
版权

一，爬取图片

1，选择爬图片的网站，我们选择百度图片。

百度图片网址：https://image.baidu.com/

2，编写代码：

import os
import time
import requests
import urllib3
urllib3.disable_warnings()
# 进度条库
from tqdm import tqdm
import os
cookies = {
'BDqhfp': '%E7%8B%97%E7%8B%97%26%26NaN-1undefined%26%2618880%26%2621',
'BIDUPSID': '06338E0BE23C6ADB52165ACEB972355B',
'PSTM': '1646905430',
'BAIDUID': '104BD58A7C408DABABCAC9E0A1B184B4:FG=1',
'BDORZ': 'B490B5EBF6F3CD402E515D22BCDA1598',
'H_PS_PSSID': '35836_35105_31254_36024_36005_34584_36142_36120_36032_35993_35984_35319_26350_35723_22160_36061',
'BDSFRCVID': '8--OJexroG0xMovDbuOS5T78igKKHJQTDYLtOwXPsp3LGJLVgaSTEG0PtjcEHMA-2ZlgogKK02OTH6KF_2uxOjjg8UtVJeC6EG0Ptf8g0M5',
'H_BDCLCKID_SF': 'tJPqoKtbtDI3fP36qR3KhPt8Kpby2D62aKDs2nopBhcqEIL4QTQM5p5yQ2c7LUvtynT2KJnz3Po8MUbSj4QoDjFjXJ7RJRJbK6vwKJ5s5h5nhMJSb67JDMP0-4F8exry523ioIovQpn0MhQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6bBjHujtT_s2TTKLPK8fCnBDP59MDTjhPrMypomWMT-0bFH_-5L-l5js56SbU5hW5LSQxQ3QhLDQNn7_JjOX-0bVIj6Wl_-etP3yarQhxQxtNRdXInjtpvhHR38MpbobUPUDa59LUvEJgcdot5yBbc8eIna5hjkbfJBQttjQn3hfIkj0DKLtD8bMC-RDjt35n-Wqxobbtof-KOhLTrJaDkWsx7Oy4oTj6DD5lrG0P6RHmb8ht59JROPSU7mhqb_3MvB-fnEbf7r-2TP_R6GBPQtqMbIQft20-DIeMtjBMJaJRCqWR7jWhk2hl72ybCMQlRX5q79atTMfNTJ-qcH0KQpsIJM5-DWbT8EjHCet5DJJn4j_Dv5b-0aKRcY-tT5M-Lf5eT22-usy6Qd2hcH0KLKDh6gb4PhQKuZ5qutLTb4QTbqWKJcKfb1MRjvMPnF-tKZDb-JXtr92nuDal5TtUthSDnTDMRhXfIL04nyKMnitnr9-pnLJpQrh459XP68bTkA5bjZKxtq3mkjbPbDfn02eCKuj6tWj6j0DNRabK6aKC5bL6rJabC3b5CzXU6q2bDeQN3OW4Rq3Irt2M8aQI0WjJ3oyU7k0q0vWtvJWbbvLT7johRTWqR4enjb3MonDh83Mxb4BUrCHRrzWn3O5hvvhKoO3MA-yUKmDloOW-TB5bbPLUQF5l8-sq0x0bOte-bQXH_E5bj2qRCqVIKa3f',
'BDSFRCVID_BFESS': '8--OJexroG0xMovDbuOS5T78igKKHJQTDYLtOwXPsp3LGJLVgaSTEG0PtjcEHMA-2ZlgogKK02OTH6KF_2uxOjjg8UtVJeC6EG0Ptf8g0M5',
'H_BDCLCKID_SF_BFESS': 'tJPqoKtbtDI3fP36qR3KhPt8Kpby2D62aKDs2nopBhcqEIL4QTQM5p5yQ2c7LUvtynT2KJnz3Po8MUbSj4QoDjFjXJ7RJRJbK6vwKJ5s5h5nhMJSb67JDMP0-4F8exry523ioIovQpn0MhQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6bBjHujtT_s2TTKLPK8fCnBDP59MDTjhPrMypomWMT-0bFH_-5L-l5js56SbU5hW5LSQxQ3QhLDQNn7_JjOX-0bVIj6Wl_-etP3yarQhxQxtNRdXInjtpvhHR38MpbobUPUDa59LUvEJgcdot5yBbc8eIna5hjkbfJBQttjQn3hfIkj0DKLtD8bMC-RDjt35n-Wqxobbtof-KOhLTrJaDkWsx7Oy4oTj6DD5lrG0P6RHmb8ht59JROPSU7mhqb_3MvB-fnEbf7r-2TP_R6GBPQtqMbIQft20-DIeMtjBMJaJRCqWR7jWhk2hl72ybCMQlRX5q79atTMfNTJ-qcH0KQpsIJM5-DWbT8EjHCet5DJJn4j_Dv5b-0aKRcY-tT5M-Lf5eT22-usy6Qd2hcH0KLKDh6gb4PhQKuZ5qutLTb4QTbqWKJcKfb1MRjvMPnF-tKZDb-JXtr92nuDal5TtUthSDnTDMRhXfIL04nyKMnitnr9-pnLJpQrh459XP68bTkA5bjZKxtq3mkjbPbDfn02eCKuj6tWj6j0DNRabK6aKC5bL6rJabC3b5CzXU6q2bDeQN3OW4Rq3Irt2M8aQI0WjJ3oyU7k0q0vWtvJWbbvLT7johRTWqR4enjb3MonDh83Mxb4BUrCHRrzWn3O5hvvhKoO3MA-yUKmDloOW-TB5bbPLUQF5l8-sq0x0bOte-bQXH_E5bj2qRCqVIKa3f',
'indexPageSugList': '%5B%22%E7%8B%97%E7%8B%97%22%5D',
'cleanHistoryStatus': '0',
'BAIDUID_BFESS': '104BD58A7C408DABABCAC9E0A1B184B4:FG=1',
'BDRCVFR[dG2JNJb_ajR]': 'mk3SLVN4HKm',
'BDRCVFR[-pGxjrCMryR]': 'mk3SLVN4HKm',
'ab_sr': '1.0.1_Y2YxZDkwMWZkMmY2MzA4MGU0OTNhMzVlNTcwMmM2MWE4YWU4OTc1ZjZmZDM2N2RjYmVkMzFiY2NjNWM4Nzk4NzBlZTliYWU0ZTAyODkzNDA3YzNiMTVjMTllMzQ0MGJlZjAwYzk5MDdjNWM0MzJmMDdhOWNhYTZhMjIwODc5MDMxN2QyMmE1YTFmN2QyY2M1M2VmZDkzMjMyOThiYmNhZA==',
'delPer': '0',
'PSINO': '2',
'BA_HECTOR': '8h24a024042g05alup1h3g0aq0q',
}
​
headers = {
'Connection': 'keep-alive',
'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="97", "Chromium";v="97"',
'Accept': 'text/plain, */*; q=0.01',
'X-Requested-With': 'XMLHttpRequest',
'sec-ch-ua-mobile': '?0',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
'sec-ch-ua-platform': '"macOS"',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Dest': 'empty',
'Referer': 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1647837998851_R&pv=&ic=&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=MCwzLDIsNiwxLDUsNCw4LDcsOQ%3D%3D&ie=utf-8&sid=&word=%E7%8B%97%E7%8B%97',
'Accept-Language': 'zh-CN,zh;q=0.9',
}
def craw_single_class(keyword, DOWNLOAD_NUM=200):
    if os.path.exists('dataset/' + keyword):
        print('文件夹 dataset/{} 已存在，之后直接将爬取到的图片保存至该文件夹中'.format(keyword))
        folder_path = 'dataset/'+keyword
        files_and_folders = os.listdir('dataset/'+keyword)
        # 使用列表推导式筛选出是文件的项
        files = [f for f in files_and_folders if os.path.isfile(os.path.join(folder_path, f))]
        # 计算文件的数量
        file_count = len(files)
        print(keyword+ ':::' + str(file_count))
        if file_count < 200:
            count = 1
​
            with tqdm(total=DOWNLOAD_NUM, position=0, leave=True) as pbar:
                # 爬取第几张
                num = 0
                # 是否继续爬取
                FLAG = True
                while FLAG:
                    page = 30 * count
                    params = (
                        ('tn', 'resultjson_com'),
                        ('logid', '12508239107856075440'),
                        ('ipn', 'rj'),
                        ('ct', '201326592'),
                        ('is', ''),
                        ('fp', 'result'),
                        ('fr', ''),
                        ('word', f'{keyword}'),
                        ('queryWord', f'{keyword}'),
                        ('cl', '2'),
                        ('lm', '-1'),
                        ('ie', 'utf-8'),
                        ('oe', 'utf-8'),
                        ('adpicid', ''),
                        ('st', '-1'),
                        ('z', ''),
                        ('ic', ''),
                        ('hd', ''),
                        ('latest', ''),
                        ('copyright', ''),
                        ('s', ''),
                        ('se', ''),
                        ('tab', ''),
                        ('width', ''),
                        ('height', ''),
                        ('face', '0'),
                        ('istype', '2'),
                        ('qc', ''),
                        ('nc', '1'),
                        ('expermode', ''),
                        ('nojc', ''),
                        ('isAsync', ''),
                        ('pn', f'{page}'),
                        ('rn', '30'),
                        ('gsm', '1e'),
                        ('1647838001666', ''),
                    )
​
                    response = requests.get('https://image.baidu.com/search/acjson', headers=headers, params=params,
                                            cookies=cookies)
                    if response.status_code == 200:
                        try:
                            json_data = response.json().get("data")
​
                            if json_data:
                                for x in json_data:
                                    type = x.get("type")
                                    if type not in ["gif"]:
                                        img = x.get("thumbURL")
                                        fromPageTitleEnc = x.get("fromPageTitleEnc")
                                        try:
                                            resp = requests.get(url=img, verify=False)
                                            time.sleep(1)
                                            # print(f"链接 {img}")
​
                                            # 保存文件名
                                            # file_save_path = f'dataset/{keyword}/{num}-{fromPageTitleEnc}.{type}'
                                            file_save_path = f'dataset/{keyword}/{num}.{type}'
                                            with open(file_save_path, 'wb') as f:
                                                f.write(resp.content)
                                                f.flush()
                                                # print('第 {} 张图像 {} 爬取完成'.format(num, fromPageTitleEnc))
                                                num += 1
                                                pbar.update(1)  # 进度条更新
​
                                            # 爬取数量达到要求
                                            if num > DOWNLOAD_NUM:
                                                FLAG = False
                                                print('{} 张图像爬取完毕'.format(num))
                                                break
​
                                        except Exception:
                                            pass
                        except:
                            pass
                    else:
                        break
                    count += 1
    else:
        os.makedirs('dataset/{}'.format(keyword))
        print('新建文件夹：dataset/{}'.format(keyword))
        count = 1
​
        with tqdm(total=DOWNLOAD_NUM, position=0, leave=True) as pbar:
        # 爬取第几张
            num = 0
        # 是否继续爬取
            FLAG = True
            while FLAG:
                page = 30 * count
                params = (
                    ('tn', 'resultjson_com'),
                    ('logid', '12508239107856075440'),
                ('ipn', 'rj'),
                ('ct', '201326592'),
                ('is', ''),
                ('fp', 'result'),
                ('fr', ''),
                ('word', f'{keyword}'),
                ('queryWord', f'{keyword}'),
                ('cl', '2'),
                ('lm', '-1'),
                ('ie', 'utf-8'),
                ('oe', 'utf-8'),
                ('adpicid', ''),
                ('st', '-1'),
                ('z', ''),
                ('ic', ''),
                ('hd', ''),
                ('latest', ''),
                ('copyright', ''),
                ('s', ''),
                ('se', ''),
                ('tab', ''),
                ('width', ''),
                ('height', ''),
                ('face', '0'),
                ('istype', '2'),
                ('qc', ''),
                ('nc', '1'),
                ('expermode', ''),
                ('nojc', ''),
                ('isAsync', ''),
                ('pn', f'{page}'),
                ('rn', '30'),
                ('gsm', '1e'),
                ('1647838001666', ''),
            )
​
                response = requests.get('https://image.baidu.com/search/acjson', headers=headers, params=params,
                                    cookies=cookies)
                if response.status_code == 200:
                    try:
                        json_data = response.json().get("data")
​
                        if json_data:
                            for x in json_data:
                                type = x.get("type")
                                if type not in ["gif"]:
                                    img = x.get("thumbURL")
                                    fromPageTitleEnc = x.get("fromPageTitleEnc")
                                    try:
                                        resp = requests.get(url=img, verify=False)
                                        time.sleep(1)
                                    # print(f"链接 {img}")
​
                                    # 保存文件名
                                    # file_save_path = f'dataset/{keyword}/{num}-{fromPageTitleEnc}.{type}'
                                        file_save_path = f'dataset/{keyword}/{num}.{type}'
                                        with open(file_save_path, 'wb') as f:
                                            f.write(resp.content)
                                            f.flush()
                                        # print('第 {} 张图像 {} 爬取完成'.format(num, fromPageTitleEnc))
                                            num += 1
                                            pbar.update(1)  # 进度条更新
​
                                    # 爬取数量达到要求
                                        if num > DOWNLOAD_NUM:
                                            FLAG = False
                                            print('{} 张图像爬取完毕'.format(num))
                                            break
​
                                    except Exception:
                                        pass
                    except:
                        pass
                else:
                    break
                count += 1
class_list = ['黄瓜','南瓜','冬瓜','木瓜',
              '苦瓜','丝瓜','窝瓜','甜瓜','香瓜','白兰瓜','黄金瓜','西葫芦','人参果','羊角蜜','佛手瓜','伊丽莎白瓜']
for each in class_list:
    craw_single_class(each, DOWNLOAD_NUM = 200)
 我们如果想要爬取其他的图片，只需要在class_list=[],输入你想要的名字。

爬取如图所示：

二，爬取视频

1，如果我们想爬取视频，这里我选择爬取哔哩哔哩的视频。

2，这里的视频需要选择具体的视频URL。比如：https://www.bilibili.com/video/BV1XB4y1P7xd/?p=41&spm_id_from=pageDriver&vd_source=c8d8d36b71cc82aaa71fffb815f6ed01

3，构造针对该视频的代码，主要是对you-get库的使用。

import subprocess
​
# 视频链接
# url = 'https://www.bilibili.com/video/BV1XB4y1P7xd?p=40&vd_source=c8d8d36b71cc82aaa71fffb815f6ed01'
# 调用you-get下载视频
# -o 指定下载路径
# -O 指定输出文件名
# -d 指定下载整个视频列表
# -p 指定下载视频的清晰度
# --format 指定下载视频的格式
# --no-caption 不下载字幕
# --no-merge 不合并视频和音频
# --debug 输出调试信息
# --json 输出JSON格式的信息
# --info 输出视频信息
# --version 输出you-get版本信息
# --help 输出you-get帮助信息
import you_get.common as you_get
import subprocess
import os
# 视频链接
def download_video_bilibili(url):
    global begin
    try:
        # url = 'https://www.bilibili.com/video/BV1XB4y1P7xd?p=16&vd_source=c8d8d36b71cc82aaa71fffb815f6ed01'
        # 设置下载目录
        output_dir = r'D:\English_video'  # 使用原始字符串
        # 构建命令
        command = f'you-get -o "{output_dir}" {url}'
        # 使用subprocess执行命令
        subprocess.call(command, shell=True)
        # 获取下载的所有文件
        downloaded_files = os.listdir(output_dir)
        # 遍历下载目录中的文件
        for file_name in downloaded_files:
            # print('-------------------')
            # print(type(file_name))
            file_path = os.path.join(output_dir, file_name)
            # 检查文件扩展名，这里假设主要视频文件是以 .mp4 结尾的
            if (file_name.endswith('.mp4') or file_name.endswith('.avi') or file_name.endswith('.mov') ):
                if 'my_video' not in file_name:
                # 新的文件名，根据您的需要重命名
                    new_file_name = os.path.join(output_dir, f'my_video{begin}.mp4')  # 替换成您想要的新文件名
​
                    os.rename(file_path, new_file_name)
                    begin += 1
​
            else:
                # 如果不是主要视频文件，可以删除
                os.remove(file_path)
        return 1
    except:
        print('该网址下载不了视频了!')
        return 0
​
begin = 1
i = 1
while i <= 43:
    url = f'https://www.bilibili.com/video/BV1XB4y1P7xd?p={i}&vd_source=c8d8d36b71cc82aaa71fffb815f6ed01'
    download_video_bilibili(url)
    i += 1

运行结果如图：

4，也可以直接在命令行终端运行如下命令：

you-get -o D:\English_video 'https://www.bilibili.com/video/BV1XB4y1P7xd/?p=41&spm_id_from=pageDriver&vd_source=c8d8d36b71cc82aaa71fffb815f6ed01'

其实就是 you-get -o 存储路径 'url'

5，同时，若还想爬取哔哔哩哔视频，也可以用这个网址：https://bili.iiilab.com/

访问如图：

6，播放下载的视频可以下载腾讯视频客户端，播放本地视频，如图：

魏福富贵贵
关注
专栏目录
Python爬取图片
qq_37592047的博客
12-10 8000
Python爬取妹子图片 今天我写的一个小爬虫是爬取妹子的图片，想必大家都喜欢，这个都懂。。。 利用python爬虫爬取图片，首先要进行安装python， 在(https://www.python.org/)进行下载python安装 安装python之后，在进行安装第三方库，requests,bs4,lxml这三个库。。。 在cmd中 进行安装pip install requests,输入后回车...
python爬取图片
weixin_48353691的博客
11-25 1560
爬取百度图片、图片下载、图片格式
python爬图片
09-13
刚开始对python进行学习，尝试爬网站图片,并将网络图片保存到本地；附件中的exe是通过pyinstaller自动化打包成exe文件；和Java比较，将网络图片下载，通过python更优秀，当然都是通过第三方包进行处理，但是python文件更小，打包出来的exe文件也更小；不用像Java一样，一个jre包就已经恨到了*********************************************************************************************
python爬虫项目（五十八）：爬取短视频数据，分析短视频平台的用户行为
最新发布
sybh的博客
10-03 2094
虽然平台并不像一些西方社交媒体平台那样公开提供丰富的 API 接口，但其官方仍然提供了一些面向广告主、内容创作者和营销人员的开发者平台。开发者可以利用这些 API 接口获取部分用户和视频数据。视频信息用户信息：获取用户的基本资料和部分行为信息（如粉丝数、关注数）。评论与互动：分析某条视频下的评论数、转发数等社交互动数据。# 假设我们有合法的 API Key# 发送请求获取视频数据。
python爬图
lyx_323的博客
08-29 469
首先，使用的是ｂｅａｕｔｉｆｕｌｓｏｕｐ这是ｐｙｔｈｏｎ自带的标准库 关于ｂｅａｕｔｉｆｕｌｓｏｕｐ具体的，可以查看 １、https://beautifulsoup.readthedocs.io/zh_CN/latest/ ２、https://cuiqingcai.com/1319.html 完整代码如下： import urllib.request from bs4 import BeautifulSoup import os def Download(url, picAlt, name)
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
08-24
在本资源中，我们主要探讨的是如何利用Python编程语言实现一个针对新浪微博的网络爬虫，目的是抓取微博数据，包括微博的文字内容、图片以及视频。爬虫是数据挖掘的重要工具，它能自动化地从互联网上收集信息，对于...
python爬取视频源代码
03-19
利用python中的re和requests模块，实现对网站中的视频进行爬取，对于图片和文字的爬取也是同样的原理，重点是学会就网页html标签的正确正则就能获取到我们需要的数据，这里是用的单线程爬取
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
05-02
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频 连续爬取一个或多个微博用户的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含...
爬mm图的软件（python）
10-30
用python实现自动爬取指定网站的漂亮妹妹图片， 用到了简单的爬取知识，文件的存储， 目标网站是煎蛋网，值得推荐。
利用Python爬虫抓取网页上的图片（含异常处理）
08-02
利用Python爬虫抓取网页上的图片，当遇到不合法的URL时，会自动处理异常，不会导致程序崩溃。直到下载完整个页面的图片，程序才会退出
Python爬虫爬取图片.zip
05-07
资源内容是利用Python的爬虫技术，自动爬取和批量下载百度图片，资源内附完整的爬虫代码，并且转成了exe应用程序
python网络爬虫抓取图片
02-05
利用python抓取网络图片的步骤： 1.根据给定的网址获取网页源代码 2.利用正则表达式把源代码中的图片地址过滤出来 3.根据过滤出来的图片地址下载网络图片
Python爬虫 爬取图片
Lamb的博客
08-10 1799
我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。通过一个for循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下载下来。在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。
爬取uputoo视频
别追我我有止咳糖浆
11-12 305
爬取uputoo视频 import json import urllib.request import os,time from math import ceil from lxml import etree import re import random def get_heders(): ua_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64;...
Python 爬虫 爬取图片
kukamao
05-22 481
首先声明一下我的这个爬虫是在unbutu16.04系统上，主要参考下面这个BLOG https://blog.csdn.net/qq_40774175/article/details/81273198 在此基础上做了一些修改更加完善。 1，你要知道Python的requests库，利用requests 库可以获取网页的原始信息，就是你打开一个网页查看源代码所看到的那种信息 。（建议用Google浏...
使用gevent爬取斗鱼颜值分类图片的Python协程实战
"本文将深入探讨如何使用Python的协程库gevent来实现一个爬虫，具体案例是爬取斗鱼直播平台的颜值分类图片。首先，我们需要理解协程的概念，协程是一种轻量级的并发机制，允许程序在执行过程中暂停并切换到其他任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值