python爬虫小练习

已于 2024-07-19 13:24:44 修改
阅读量198 收藏
点赞数 4
文章标签： python 开发语言
于 2024-07-18 22:37:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40231376/article/details/140534511
版权

1.首先访问xxx视频网站，随便点击一个视频，查看该视频链接，通过F12查看页面链接，按道理来说只需要提取到video标签中的这个url ，然后请求访问就能爬取下来，但是查看页面源代码，里面并没有<video xxx src="https://video.pearvideo.com/mp4/adshort/20190507/cont-1551406-13881704_adpkg-ad_hd.mp4"> 因为这个是js后期生成出来的

2.此时通过F12抓包，抓取到这个视频请求URL和它返回的响应结果

3.然后对比在页面元素中video标签的和请求URL结果中的srcurl字段，发现响应中的url有个是时间戳，只要将这个时间戳替换成contid，就可以转成真正的视频链接

4.以下是实现的源代码

小小白灬淼
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python从入门到精通（十八）：python爬虫的练习案列集合
HACKONE的博客
02-11 2878
【代码】python从入门到精通（十八）：python爬虫的练习案列集合。
Python 爬虫 小练习
12-22
获得某易云音乐 对应歌单下的所有歌曲的歌曲、专辑图片、歌手图片、lrc歌词 import requests from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.chrome.options import ...
python爬虫小练习——爬取网站资源并存储起来
qq_51690310的博客
04-10 1265
xpath解析+csv存储
Python爬虫小练习
爆金币了，老登！
06-06 1448
python爬虫练习
python爬虫小练习——爬取豆瓣电影top250
菜鸟学安全的博客
01-14 2460
python爬虫小练习——爬取豆瓣电影top250，爬取网页内容，解析网页内容，存入表格。
python爬虫小案例
Ka_kaen的博客
02-19 7905
案例1：爬取搜狗指定词条对应的搜索结果（简易网页采集器） 案例2：破解百度翻译 案例3：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 案例4：爬取肯德基餐厅查询 http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数 案例5：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://123.35。6.84:81/ ...
Python爬虫练习
m0_59416558的博客
12-28 4569
文章目录一、 软件配置二、爬取南阳理工OJ题目（一）页面分析（二）代码编写三、爬取学校信息通知（一）页面分析（二）代码编写总结参考 一、 软件配置 安装必备爬虫环境软件 python 3.8 pip install requests pip install beautifulsoup4 二、爬取南阳理工OJ题目 网站地址：http://www.51mxd.cn/ （一）页面分析 切换页面的时候url网址发生变动，因此切换页面时切换第n页则为n.html 根据页面数据显示可以查看到只有题号、难度、
某徒步旅游网站python爬虫小练习
m0_37959404的博客
07-18 775
yxk周边游网站python爬虫小练习（跨页面）代码很简单，关键一个是 encoding="utf_8_sig" , 否则乱码，注意writerow()处理listimport warnings warnings.filterwarnings("ignore")import csv from urllib.request import urlopen from bs4 import Beautif
Python网络爬虫练习
weixin_69884785的博客
11-28 1624
Python网络爬虫练习-----爬取历年中国大学排名(前20名)，并随机选取一所高校画图展示其历年总分变化,并计算平均分，在图上展示该平均分直线
Python爬虫详解（一看就懂）
热门推荐
我的博客
06-21 9万+
爬虫简单的来说就是用程序获取网络上数据这个过程的一种名称。如果要获取网络上数据，我们要给爬虫一个网址（程序中通常叫URL），爬虫发送一个HTTP请求给目标网页的服务器，服务器返回数据给客户端（也就是我们的爬虫），爬虫再进行数据解析、保存等一系列操作。爬虫可以节省我们的时间，比如我要获取豆瓣电影 Top250 榜单，如果不用爬虫，我们要先在浏览器上输入豆瓣电影的 URL ，客户端（浏览器）通过解析查到豆瓣电影网页的服务器的 IP 地址，然后与它建立连接，浏览器再创造一个 HTTP 请求发送给豆瓣电影的服务器，
python爬虫练习.zip
12-28
解锁网络数据的宝藏：Python爬虫工具与教程集合 一、探索网络信息的无限宝藏 在互联网的海洋中，蕴藏着海量的有价值信息。如何合法、高效地获取这些信息？Python爬虫工具与教程为您揭开这一神秘面纱。通过这些资源...
Python爬虫上手练习小项目
10-08
在这个“Python爬虫上手练习小项目”中，我们将深入探讨如何利用Python语言来构建网络爬虫，从而获取互联网上的信息。 首先，我们需要了解Python爬虫的基础知识。Python因其简洁易读的语法和丰富的第三方库而成为...
Python 爬虫学习练习
01-11
爬虫 ant_1.py 获取公众号内部的文章链接处理 ant_2_calculate_total_time.py 计算公众号的总录音时长 selenium_pro_1.py 尝试大麦网抢票脚本 但是selenium_pro被平台ban了 很难用驱动爬虫 tongge.py 大众点评初...
python爬虫的练习.zip
01-01
这个分享包涵了我开发的Python爬虫工具项目，主要用于合法爬取某些网页信息。以下是主要内容： 源代码：包括Python代码和相关脚本。这些代码展示了如何使用Python进行网页抓取、解析和数据提取。 项目文件：除了...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
qq_64603703的博客
07-27 731
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 1011
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 592
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Chapter 18 Python异常
最新发布
2302_80253507的博客
07-28 819
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
安卓手机部署大模型实战
奇舞周刊
07-25 818
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
python 异步爬取梨视频
05-01
你可以使用 Python 的 asyncio 和 aiohttp 模块来实现异步爬取梨视频。这里给出一个简单的示例代码： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: urls = ['http://www.pearvideo.com/category_5', 'http://www.pearvideo.com/category_6'] tasks = [asyncio.create_task(fetch(session, url)) for url in urls] htmls = await asyncio.gather(*tasks) for html in htmls: print(html) # 这里可以写解析代码，将视频信息提取出来 if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 在这个示例中，我们首先定义了一个 `fetch` 函数，用于使用 aiohttp 发送异步请求并返回响应的 HTML 页面。然后在 `main` 函数中，我们创建了一个 aiohttp 的 `ClientSession` 对象，并使用 asyncio 的 `create_task` 函数创建了多个异步任务，最后使用 `asyncio.gather` 函数将这些任务一起执行，并将结果存储在 `htmls` 列表中。你可以在这里添加解析代码，将视频信息提取出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值