python写一个简单的爬虫程序(爬取快手)(附源码)

快手是一个有意思的视频应用,但是它有一些视频不让下载,我们今天就用爬虫来实现爬取不让下载的视频:

首先右键点击检查,我们可以看见找到了视频的src,访问这个src就可以得到视频的下载网址,如下:

右键就可以下载了,但是我们怎么用python爬虫代码来实现呢?

首先引入需要的库

import os #用于保存文件

import requests  #用于得到src后下载视频

from selenium import webdriver #用于访问网站获取src

import time #计时使网站加载完整

from requests_html import HTMLSession #访问网站

session = HTMLSession()

from random import sample #随机模块

我已经写好注释了,有些入门小白可能要问time模块来干嘛呀?

这也是为什么要用selenium库而不全用requests的原因,因为快手网站使用懒加载,何为懒加载?

就是等到用户需要看到视频时才向服务器发出视频src的请求,这样对谁都好,但就是对爬虫十分的不友好

所以不用requests来请求src,因为它是连接服务器的第一时间就把代码下载下来,还没有向服务器发出src的请求,因为用requests我们看不见src,所以我们用selenium来获取src,因为它调用本地的浏览器,我们先用selenium访问网站,再用time库等待2秒(为了让网站加载完毕,加载出src):

s = input('链接:')

browser = webdriver.Chrome()

browser.get("%s"%s)
time.sleep(2)

input_third = browser.find_element_by_xpath("//video[@class='player-video']").get_attribute("src")#使用浏览器访问网站,获取src

browser.close()#关闭浏览器

我们就取到了视频的下载地址,接下来就是保存了:

url = input_third#将src赋值给url
root = "D://video//"#定义文件路劲
ua = ['my','sy','yy']
ba = ['by','ty','zy']

ssy = sample(ua, 1)[0] + sample(ba, 1)[0] + '.mp4'
path = root + ssy              #抓取文件起的名字,随机名称

if not os.path.exists(root):
    os.mkdir(root)                  #如果该目录不存在就创建它
if not os.path.exists(path):
    ua = [
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201',
            'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
            'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
            'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)']

    headers = {

            'User-Agent':  sample(ua, 1)[0]
        }
    r = requests.get(url,headers=headers)

           #获取到目标视频的所有信息,随机请求头
       
    with open(path, 'wb') as f:     #以二进制写的方式将r的二进制内容写入path
        f.write(r.content)
        f.close()
        print("文件保存成功")
else:
    print("文件已存在")

然后就可以在d盘video目录下看见视频了

简易源码分享

import os
import requests

from selenium import webdriver

import time

from requests_html import HTMLSession

session = HTMLSession()

from random import sample

s = input('链接:')

browser = webdriver.Chrome()

browser.get("%s"%s)
time.sleep(2)

input_third = browser.find_element_by_xpath("//video[@class='player-video']").get_attribute("src")#使用浏览器访问网站,获取src

browser.close()#关闭浏览器

url = input_third#将src赋值给url
root = "D://video//"#定义文件路劲
ua = ['my','sy','yy']
ba = ['by','ty','zy']

ssy = sample(ua, 1)[0] + sample(ba, 1)[0] + '.mp4'
path = root + ssy              #抓取文件起的名字,随机名称

if not os.path.exists(root):
    os.mkdir(root)                  #如果该目录不存在就创建它
if not os.path.exists(path):
    ua = [
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201',
            'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
            'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
            'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)']

    headers = {

            'User-Agent':  sample(ua, 1)[0]
        }
    r = requests.get(url,headers=headers)# 自动转换josn

           #获取到目标视频的所有信息,随机请求头
         #打印访问的状态码是否为200
    with open(path, 'wb') as f:     #以二进制写的方式将r的二进制内容写入path
        f.write(r.content)
        f.close()
        print("文件保存成功")
else:
    print("文件已存在")

  • 12
    点赞
  • 22
    收藏
  • 打赏
    打赏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论 5

打赏作者

beginner2021

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值