Python爬取梨视频并下载【ajax抓包】

涉及的知识点

• 基础爬虫
• 数据解析（xpath与正则表达式）
• 多线程异步基础（线程池）

import requests
import os
import random
from lxml import etree
from multiprocessing.dummy import Pool
import re

headers={
    
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
url='https://www.pearvideo.com/category_5'
page_text=requests.get(url=url,headers=headers).content
#抓取初始界面
tree=etree.HTML(page_text)
li_list=tree.xpath('//*[@id="listvideoListUl"]/li[@class="categoryem "]')
urls=[]#储存信息
#储存路径
if not os.path.exists('./myvideos'):
    os.mkdir(