python 头条视频_Python视频爬虫实现下载头条视频

这篇文章主要介绍了Python视频爬虫实现下载头条视频功能,涉及Python正则匹配、网络传输及文件读写等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python视频爬虫实现下载头条视频功能。分享给大家供大家参考,具体如下:

一、需求分析

抓取头条短视频

思路:

分析网页源码,查找解析出视频资源url(查看源代码,搜mp4)

对该url发起请求,返回二进制数据

将二进制数据保存为视频格式

视频链接:http://video.eastday.com/a/170612170956054127565.html

二、代码实现

# encoding: utf-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

import requests

import re

import time

time1=time.time()

main_url = 'http://video.eastday.com/a/170612170956054127565.html'

resp = requests.get(main_url)

#没有这行,打印的结果中文是乱码

resp.encoding = 'utf-8'

html = resp.text

link = re.findall(r'var mp4 = "(.*?)";', html)[0]

link = 'http:'+link

dest_resp = requests.get(link)

#视频是二进制数据流,content就是为了获取二进制数据的方法

data = dest_resp.content

#保存数据的路径及文件名

path = u'C:/赵丽颖.mp4'

f = open(path, 'wb')

f.write(data)

f.close()

time2 = time.time()

print u'ok,下载完成!'

print u'总共耗时:' + str(time2 - time1) + 's

"D:\Program Files\Python27\python.exe" D:/PycharmProjects/learn2017/testwechat.py

ok,下载完成!

总共耗时:3.20499992371s

Process finished with exit code 0

成功下载可以播放~

相关推荐:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
今日头条爬虫技术说明 ========== 整体思路 -------- 1. 抓取今日头条app的数据包 2. 分析数据包,找出请求的数据(如文章列表,文章url等) 3. 根据文章url等信息,抓取文章内容 4. 若文章中包含视频,则取视频url,然后下载 具体实现 ------ ### 一、抓包 ### 1. 工具:`Fiddler`、 `android`手机、`google浏览器` 2. 步骤: (1)本示例采用[Fiddler](http://fiddler2.com/ "Fiddler")来抓包,安装到电脑,我的电脑是win10 (2)具体配置及使用请见[http://jingyan.baidu.com/article/03b2f78c7b6bb05ea237aed2.html](http://jingyan.baidu.com/article/03b2f78c7b6bb05ea237aed2.html "百度经验") (3)打开今日头条app,开始抓包,抓取到的包如下:![](http://i.imgur.com/fC3y96p.png) (4)经分析得知左侧的json文件及为文章列表,如图![](http://i.imgur.com/I2Z8Iph.png) 如右侧第一个content所指的json文件,文件内容为![](http://i.imgur.com/lwaDLHP.png)此时手机上的信息为 <img src = "http://i.imgur.com/LFSL1AA.png" width = "40%"> 可得上面的结论正确 ### 二、分析 ### 1. 分析所抓到的文章列表数据包:大致分为两类,一类是有视频的文章,一类则是没有视频的文章。 有视频的文章json内容里均有`video_id`这个key,如下图所示:![](http://i.imgur.com/T4hqaIc.png) 2. 没有视频的文章:json文件内容均包含`title`、 `abstract`、 `article_url`等信息,具体内容如下. -------- 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值