python保存爬虫下载的图片和视频

本次是在django中完成

静态文件目录

拼接路径

图片路径
image=os.path.join(STATICFILES_DIRS[0],"audio")  # os.path.join() 将多个路径拼接成一个完整的路径
视频路径
l_mp4 = os.path.join(STATICFILES_DIRS[0],"video")

①将下载的图片 保存进audio文件内

imga = requests.get(图片的链接)
image 是刚才拼接的路径 (不写路径使用默认路径 默认路径是当前运行文件的路径)
with open(image + "\{}".format(图片名称) + '.jpg', mode='wb') as f:
    f.write(imga.content)

②将下载的视频 保存进video文件内

response = requests.get(视频链接)
l_mp4 是拼接好的路径   这里用到了f
with open(f'{l_mp4}\{图片名称}.mp4', 'wb')as f:
    f.write(response.content)
    f.flush()  #强行把缓冲区中的内容放到磁盘中

保存效果

附上 爬虫代码

import requests
from lxml import etree
import re
import time
import os

url='http://wallpaper.upupoo.com/store/browVi/1-0-0-1.htm'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

response=requests.get(url,headers=headers)
    #利用lxml 对网址解析
html=etree.HTML(response.content.decode())
    # 爬取title
listTitle=html.xpath("/html/body/div[2]/div[4]/dl/dd/div[2]/p/text()")
    # print(listTitle)
    # 爬取每个视频的详情页链接(只有后半部分)
listurl = html.xpath('/html/body/div[2]/div[4]/dl/dd/div[1]/div/a/@href')
listU=[]
    # 遍历每个详情页
for index,i in enumerate(listurl):
        # 拼接成完整的详情页
    l_url = 'http://wallpaper.upupoo.com{}'.format(i)
    time.sleep(1)
        # 请求每个详情页
    res = requests.get(url=l_url)
        # 用正则匹配出详情页的MP4链接
    urls = re.findall("http://source.upupoo.com.*\.mp4", res.text)
    imgs = re.findall("http://source.upupoo.com.*\.jpg",res.text)
        # print(listTitle[index],urls)
    img= listTitle[index]
        
        # 路径
    image=os.path.join(STATICFILES_DIRS[0],"audio")
    l_mp4 = os.path.join(STATICFILES_DIRS[0],"video")

    print("第%d个图片下载中**" %(index + 1))
    print(imgs[index])
    imga = requests.get(imgs[index])
    with open(image + "\{}".format(listTitle[index]) + '.jpg', mode='wb') as f:
        f.write(imga.content)
    print("第%d个图片下载完成" % (index + 1))

    print("第{}个视频下载中**".format(index + 1))
    print(urls[0], listTitle[index])
    response = requests.get(urls[0])
    with open(f'{l_mp4}\{listTitle[index]}.mp4', 'wb')as f:
        f.write(response.content)
        f.flush()  #强行把缓冲区中的内容放到磁盘中
    print("第%d个视频下载完成"%(index+1))

保存时注意路径

往期推荐

python + selenium 爬取猎聘招聘网

存 读csv