视频解析有感,在解析 iqiyi与qq视频的时候,记录一些发现

最近对iqiyi与qq视频解析发现,两个网站的解析流程,尤其是反解析措施 各有特点,简单记录一下

  1. 先说iqiyi, 浏览器模拟移动端可以拿到视频的mp4链接,这个不多说。
    iqiyiPC端浏览器获取 ts过程:
    a.iqiyi一次性返回 所有的 http://data.video.iqiyi..ts文件(json格式)
    b.浏览器他每次请求都会去访问一下 https://bdcdncnc.inter.71edge.

    https://bdcdncnc.inter.71edge.
    这个域名不固定,不同的网络可能不一样
    c.根据访问 https://bdcdncnc.inter.71edge. 返回的location, 再构造一次真实的ts请求, 浏览器播放
    根据访问 https://bdcdncnc.inter.71edge. 返回的location, 每次返回的location还不一样,导致信源不一样。
    这样做的好处是,iqiyi没有像其他网站一样提供完整的m3u8文件, 这样就不会容易出现盗链的情况。
  2. 再说QQ视频, 解析过程这里就不多说了, 网上资源不少, 在拿到解析出的url后,用vlc播放,
    出现播放一段时间就会卡顿的情况,分析发现, QQ视频有多个限速上报接口, 可以通过chrome浏览器的 request block 来过滤这些限速上报接口,筛选出 必须的 那几个, 然后模拟上报就可以了,不过我没模拟成功。

以上这两点 可以做到防止盗链的情况。

才疏学浅,说的不对的地方 ,还请指正。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
众所周知,爬取别人网站上的数据需要遵守相关法律法规,并且需要得到网站所有者的许可。因此,以下代码仅供学习交流使用,切勿用于非法用途。 import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 爬取前10页的视频信息 for i in range(1, 11): url = 'https://www.iqiyi.com/u/1290995902/videos?page={}'.format(i) response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 获取视频列表 video_list = soup.find_all('div', class_='list_item') for video in video_list: # 获取视频标题 title = video.find('p', class_='site-piclist_info_title').get_text().strip() # 获取视频URL url = video.find('a', class_='site-piclist_pic_link')['href'] # 获取当前热度 heat = video.find('div', class_='site-piclist_info_describe').find_all('span')[0].get_text().strip() # 获取评论数 comment = video.find('div', class_='site-piclist_info_describe').find_all('span')[1].get_text().strip() print('标题:', title) print('URL:', url) print('当前热度:', heat) print('评论数:', comment) print('-'*50) 输出结果: 标题: 火箭少女101 - 《面对未来》 URL: https://www.iqiyi.com/v_19rxrj0q3s.html 当前热度: 65.8万人看过 评论数: 2296 -------------------------------------------------- 标题: 火箭少女101 - 《卡路里》 URL: https://www.iqiyi.com/v_19rxtxj3k0.html 当前热度: 20.4万人看过 评论数: 218 -------------------------------------------------- ... ... ...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值