python爬虫利用线程池下载视频

由于requests模块中，requests.get()是线程阻塞的，所有当有多个爬虫进行爬取时，那么单线程式爬虫是耗时比较长的，所以我们需要使用线程池，利用线程池来爬取耗时比较长的资源，这里我们使用梨视频网站下载视频为例子。

一、导入相关模块

import requests
# 使用xpath时需要导入
from lxml import etree
# 正则
import re
# 线程池
from multiprocessing.dummy import Pool

二、爬取页面信息

从这里我们可以看到改链接有四个li标签，点开li标签可以看到url和视频的名字，点进相关的视频链接，我们对该网站进行分析，发现该详细视频的连接是放在script标签中的，所以我们要使用正则表达式

# 爬取梨视频生活视频
url = 'https://www.pearvideo.com/category_5'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
response = requests.get(url, headers=headers, timeout=500)
tree = etree.HTML(response.text)
# 获取到所有的li（梨视频生活模块的最新四个视频）
li_list = tree.xpath('//ul[@id="listvideoListUl"]/li')
urls = []
# 获取li里面的url和name
for li in li_list:
    # 注意li.xpath('./')
    video_url = 'https://www.pearvideo.com/' + li.xpath('./div/a/@href')[0]
    video_name = li.xpath('./div/a/div[2]/text()')[0]
    video_response = requests.get(video_url, headers=headers)
    video_page = video_response.text
    #  正则表达式（由于这里是Js中的内容，并不是html内容）
    ex = 'srcUrl="(.*?)",vdoUrl'
    detail_url = re.findall(ex, video_page)[0]
    dic = {
        'url': detail_url,
        'name': video_name
    }
    urls.append(dic)

三、爬取视频资源

# 下载视频
def get_video(urls):
    print(urls['name'], '开始下载......')
    video = requests.get(urls['url'], headers=headers).content
    with open(urls['name']+'.mp4', 'wb') as fp:
        fp.write(video)
    print(urls['name'], '下载完成......')

四、线程池的使用`

# 初始化线程，该线程池有四个线程
pool = Pool(4)
# 启动线程池，第一个参数是方法名，第二个参数是一个可迭代的参数，可迭代参数赋值进入第一个方法中
pool.map(get_video, urls)