多线程爬取pear video

已于 2023-09-23 10:34:43 修改
阅读量153 收藏 2
点赞数
分类专栏： 爬虫学习 文章标签： 音视频
于 2023-09-17 10:30:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45895217/article/details/132939315
版权

参考教程：

KP:

  • 在python中，在函数内部修改全局变量值的方法：在函数内部另外声明global 全局变量名(global i，这样就可以修改全局变量i的值)
  • 什么是二次渲染？ CSS二次渲染是当浏览器能够正确显示内容，但在渲染图像之前会重新计算样式，并重新绘制元素。这意味着你的页面可能会闪烁并在用户体验上产生短暂的延迟。这种情况通常发生在使用内联样式和在样式表中添加!important声明的时候。在本案例中，就是视频.mp4文件并没有加载，而是在点击视频后才加载出来。

以此视频链接为例

获取视频真正url

  1. 在没有点击视频播放前，在源码中找不到mp4文件。
    在这里插入图片描述
    点击播放视频后，才可以找到真正的视频文件：
    <video webkit-playsinline="" playsinline="" x-webkit-airplay="" style="width: 100%; height: 100%;" qk-data="video" src="https://video.pearvideo.com/mp4/short/20210719/cont-1735626-15722631-hd.mp4"></video>
    此src文件才是真正的视频文件。

在这里插入图片描述
通过抓包工具也可以得到一个srcUrl。但是这个得到的并不是真正能播放的视频链接。
在这里插入图片描述

FAKE: https://video.pearvideo.com/mp4/short/20210719/1694916521501-15722631-hd.mp4

REAL: src="https://video.pearvideo.com/mp4/short/20210719/cont-1735626-15722631-hd.mp4"></video>

通过对比这两个链接：发现是将FAKE中的1694916521501换成cont-1735626。
而这个是systemTime在这里插入图片描述

在这里插入图片描述
从上面这张图中看出cont-后面的为contid。本视频详情页的链接为https://www.pearvideo.com/video_1735626，所以可以通过此链接得到contid。
再将取到的contid替换system就可以得到真正的视频链接，从而下载。

注意！梨视频加载了防盗链，在获取真正的视频下载链接时，必须在请求的UA伪装中添加Referer防盗链，Referer的值为前一个页面的链接，即视频详情页的链接。如果不添加则无法爬取。

    headers_video = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
        "Referer": f"https://www.pearvideo.com/video_{contID}"
    }

所以大体步骤为：

  1. 通过梨视频页面得到要下载的视频的详情页信息。
  2. 从详情页信息中获取FAKE视频链接
  3. 将FAKE视频链接转为REAL视频链接。
  4. 使用多线程进行下载。

1.通过梨视频页面得到要下载的视频的详情页信息。

url = 'https://www.pearvideo.com/category_1'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}

page_text = requests.get(url=url, headers=headers).text
tree = etree.HTML(page_text)
# with open('./lishipin.html', 'w', encoding='utf-8') as fp:
#     fp.write(page_text)

# 获取video_name , video_url
video_list = tree.xpath('//*[@id="listvideoListUl"]//div[@class="vervideo-bd"]/a/@href')
video_name_list = tree.xpath('//div[@class="category-top"]//div[@class="vervideo-title"]/text()')  #
video_list =  ["https://www.pearvideo.com/" + video for video in video_list]

print(video_list)
print(video_name_list)

2. 从详情页信息中获取FAKE视频链接

# 获取视频的真正下载链接
video_download_url = []
for i in range(len(video_list)):
    contID = video_list[i].split('_')[1]
    mrd = random.random()
    video_url = f"https://www.pearvideo.com/videoStatus.jsp?contId={contID}&mrd=" + str(mrd)    # 实测没有mrd相关信息也可以解析。
    headers_video = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
        "Referer": f"https://www.pearvideo.com/video_{contID}"
    }

    video_response = requests.get(video_url, headers=headers_video)	# 得到视频详情页的response
    print(video_response.text)
    # 将文件写入磁盘
    fp = open(f'./{contID}.json', 'w', encoding='utf-8')
    json.dump(video_response.json(), fp, ensure_ascii=False)

3. 将FAKE视频链接转为REAL视频链接。

这里注意，将video_response转为json格式后，可以直接使用字典的操作获取某键对应的值。

# 将fake的url转为真正的url
    systemTime = video_response.json()['systemTime']
    srcUrl = video_response.json()['videoInfo']['videos']['srcUrl']
    srcUrl = srcUrl.replace(systemTime, f"cont-{contID}")
    video_download_url.append(srcUrl)
print(video_download_url)

4. 使用多线程进行下载。

# 使用多线程进行下载
if not os.path.exists('./梨视频'):	# 创建视频目录
    os.makedirs('./梨视频')
i=0
def download_video(video):
    global i        # 在函数内修改全局变量：在函数内声明global变量
    with open(f'./梨视频/{video_name_list[i]}.mp4', 'wb') as fp:
        fp.write(requests.get(video).content)
    print(video_name_list[i],"下载成功")
    i+=1

# 单线程下载
start_time = time.time()

for video in video_download_url:
    download_video(video)
end_time = time.time()
print("单线程下载时间：", end_time - start_time)

# 多线程下载
pool = Pool(len(video_list))    # 获取大小为视频个数的线程池
start_time = time.time()
i=0
pool.map(download_video, video_download_url)
end_time = time.time()
print("多线程下载时间：", end_time - start_time)

在这里插入图片描述

完整代码：

import json
import os.path
import random
import time
from multiprocessing.dummy import Pool
import requests
from lxml import etree


url = 'https://www.pearvideo.com/category_1'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}

page_text = requests.get(url=url, headers=headers).text
tree = etree.HTML(page_text)
# with open('./lishipin.html', 'w', encoding='utf-8') as fp:
#     fp.write(page_text)

# 获取video_name , video_url
video_list = tree.xpath('//*[@id="listvideoListUl"]//div[@class="vervideo-bd"]/a/@href')
video_name_list = tree.xpath('//div[@class="category-top"]//div[@class="vervideo-title"]/text()')  #
video_list =  ["https://www.pearvideo.com/" + video for video in video_list]

print(video_list)
print(video_name_list)


# 获取视频的真正下载链接
video_download_url = []
for i in range(len(video_list)):
    contID = video_list[i].split('_')[1]
    mrd = random.random()
    video_url = f"https://www.pearvideo.com/videoStatus.jsp?contId={contID}&mrd=" + str(mrd)    # 实测没有mrd相关信息也可以解析。
    headers_video = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
        "Referer": f"https://www.pearvideo.com/video_{contID}"
    }

    video_response = requests.get(video_url, headers=headers_video)
    print(video_response.text)
    # 将文件写入磁盘
    fp = open(f'./{contID}.json', 'w', encoding='utf-8')
    json.dump(video_response.json(), fp, ensure_ascii=False)

# 将fake的url转为真正的url
    systemTime = video_response.json()['systemTime']
    srcUrl = video_response.json()['videoInfo']['videos']['srcUrl']
    srcUrl = srcUrl.replace(systemTime, f"cont-{contID}")
    video_download_url.append(srcUrl)
print(video_download_url)


# 使用多线程进行下载
if not os.path.exists('./梨视频'):
    os.makedirs('./梨视频')


i=0
def download_video(video):
    global i        # 在函数内修改全局变量：在函数内声明global变量
    with open(f'./梨视频/{video_name_list[i]}.mp4', 'wb') as fp:
        fp.write(requests.get(video).content)
    print(video_name_list[i],"下载成功")
    i+=1

# 单线程下载
start_time = time.time()

for video in video_download_url:
    download_video(video)
end_time = time.time()
print("单线程下载时间：", end_time - start_time)

# 多线程下载
pool = Pool(len(video_list))    # 获取大小为视频个数的线程池
start_time = time.time()
i=0
pool.map(download_video, video_download_url)
end_time = time.time()
print("多线程下载时间：", end_time - start_time)
小菜0-o
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬取梨视频并下载【ajax抓包】
qq_55582202的博客
03-02 1084
涉及的知识点 基础爬虫 数据解析（xpath与正则表达式） 多线程异步基础（线程池） import requests import os import random from lxml import etree from multiprocessing.dummy import Pool import re headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
Python爬虫（从requests到scrapy
老6
10-14 887
爬虫 作者：Ychhh_ 铺垫内容 爬虫分类 通用爬虫： 抓取系统重要组成部分 聚焦爬虫： 建立在通用爬虫的基础之上 抓取的为抓取页面局部内容 增量式爬虫： 检测网站中数据的更新情况 反爬机制 门户网站，可以通过指定相应的策略，防止爬虫程序进行数据的窃取 反反爬策略：破解反爬策略，获取数据 相关协议 robots.txt 协议： 君子协议。规定了网站中哪些数据可以被爬取，哪些不可以被爬取 http协议： 常用客户端与服务器的通信协议 常用请求头信息：
python爬虫下载梨视频
Force~
07-23 837
import requests import re import os from urllib.request import urlretrieve def download_vedio(): '''下载梨视频''' #获取页面源代码 html = requests.get('https://www.pearvideo.com/category_8').text # print(html) # 获取视频ID 匹配所有 reg= r'<a
python爬虫（爬视频带数据库）
11-05
python爬虫（爬网站视频带数据库） 页面操作核心类，根据规则，生成需要爬取的链接
爬虫系列---多线程爬取实例
weixin_30729609的博客
02-27 523
1.爬取站长图片源码 #爬取站长'http://sc.chinaz.com/tupian/gudianmeinvtupian.html',所有的古典美女图片 import os import time import random import requests from lxml import etree from multiprocessing.dummy impor...
python异步爬虫之使用线程池爬取排行榜视频
qq_39649212的博客
09-02 345
高性能异步爬虫   目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式：   - 多线程，多进程(不建议):     好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。     弊端：无法无限制的开启多线程或者多进程。   - 线程池、进程池(可以适当的使用)     好处：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。     弊端：池中线程或者进程的数量有上限。 爬取目标：梨视频生活页四个最热视频 目标网址：https://www.pear
爬虫笔记_
qq_45895217的博客
09-17 1558
爬虫在使用场景中的分类。
Python多线程爬取豆瓣影评API接口
09-18
主要介绍了Python多线程爬取豆瓣影评API接口,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
多线程爬取图片
12-21
在Python编程中，多线程爬取图片是一种提高网络爬虫效率的方法，特别是在处理大量图片资源时。这个程序示例展示了如何使用Python的requests库抓取网页内容，lxml库解析HTML，以及queue和threading库来实现多线程下载...
python的多线程爬取下载图片
11-23
python的多线程爬取下载图片
Java多线程爬取网页
09-27
适合：简单地获取纯文字网页的内容。需要创建子线程or修改爬取网页请在testpc.java中修改，webpc用于获取指定网页内容，runthread用于创建子线程爬虫，testpc则是主线程，用于管理子线程的创建、运行与等待。
爬虫学习笔记
Sky_小天
07-11 2868
视频教程的老师很棒，学到很多，偏实战，很适合有编程基础的同学学习
python 爬虫之路教程
热门推荐
Android系统攻城狮
05-04 1万+
原址 摘要： From：https://piaosanlang.gitbooks.io/spiders/content/ 爬虫入门初级篇 IDE 选择： PyCharm(推荐)、SublimeText3、VS2015、wingIDE 装python2还是python3 ？ python社区需要很多年才能将现有的模块移植到支持python3. django web.py flask等还不支
图像识别
weixin_45665357的博客
01-28 456
深度学习实验手册 文章目录深度学习实验手册一、基础理论1. 自定义感知机2. 验证图像卷积运算效果二、OpenCV部分1. OpenCV安装2. OpenCV基本操作1）读取、图像、保存图像3. 图像色彩操作1）彩色图像转换为灰度图像2）色彩通道操作3）灰度直方图均衡化4）彩色亮度直方图均衡化5）色彩提取6）二值化与反二值化4. 图像形态操作1）图像翻转2）图像仿射变换3）图像缩放4）图像裁剪5）图像相加6）图像相减7）透视变换8）图像腐蚀9）图像膨胀10）图像开运算11）图像闭运算12）形态学梯度5.
实用好软-----开源的视频无损剪切与合并工具 无损修改
最新发布
mg668的博客
08-08 367
在视频编辑领域，LosslessCut以其开源特性和高效的无损编辑能力，为视频编辑爱好者和专业人士提供了一个革命性的工具 LosslessCut是一款基于Chromium和FFmpeg的无损视频分割工具，它是一个开源视频编辑软件，可以快速分割视频、或者合并视频，没有任何重编码过程. LosslessCut旨在成为最终的跨平台ffmpeg GUI，以非常快速且无损的方式处理视频，音频，字幕和其他相关媒体文件。其主要功能是无损修剪和裁剪视频和音频文件。这对于通过大致裁剪
Scrapy多线程爬取
11-15
Scrapy支持多线程爬取，可以使用Python的threading模块和Queue模块实现。以下是一个简单的示例，展示如何在Scrapy中使用多线程爬取： ```python import threading from queue import Queue import scrapy from ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值