python小炮灰爬取视频-----初学着勿喷---关键在于获取每个视频的URL ---- json文件

TecFy

于 2021-05-04 22:34:43 发布

阅读量146

点赞数

分类专栏： python 爬虫01 文章标签： python json xpath html

本文链接：https://blog.csdn.net/qq_53859679/article/details/116406273

版权

这篇博客主要介绍了Python新手如何使用XPath和HTML解析来抓取网页上的视频URL，并将其保存到JSON文件中，适合入门级开发者学习。

摘要由CSDN通过智能技术生成

### 爬取某 B_ 视频 

import requests
from lxml import etree
import json,time
from jsonpath import jsonpath
from moviepy.editor import *
from threading import Thread


# https://api.bilibili.com/x/web-interface/newlist?rid=138&type=0&pn=2&ps=20&jsonp=jsonp&callback=jsonCallback_bili_74804354450513884
# 使用函数分装
def B_():
    org_url = 'https://api.bilibili.com/x/web-interface/newlist?rid=138&type=0&pn=1&ps=20&jsonp=jsonp&callback=jsonCallback_bili_0243235407155770745'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'
        ,
        'referer': 'https://www.bilibili.com/v/life/funny/'
        ,
        'cookie': '_uuid=F29DCBED-5F70-A1C6-4E52-4E218AF627CC81697infoc; '