Python实现自动登录+获取数据

最新推荐文章于 2024-05-13 20:47:40 发布

「已注销」

最新推荐文章于 2024-05-13 20:47:40 发布

阅读量312

点赞数

分类专栏：爬虫小案例文章标签： python 开发语言 pycharm

本文链接：https://blog.csdn.net/weixin_62853513/article/details/134535653

版权

本文介绍了如何使用Python结合requests和selenium模块实现自动登录某网站并获取视频数据。通过抓包分析确定数据来源，然后解析HTML提取视频链接和标题，最后保存数据。代码详细展示了模拟登录和数据提取的步骤。

摘要由CSDN通过智能技术生成

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

Dy这个东西想必大家都用过，而且还经常刷，今天就来用代码，获取它的视频数据

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

环境使用

Python 3.8
Pycharm

模块使用

requests
selenium
json
re

一. 数据来源分析

明确需求

明确采集网站以及数据内容

网址:

https://www.dy.com/user/MS4wLjABAAAAB0-gppwu15DtJJZmMpgUqakr7Jw_pmr7skR3IW6MwCQ?modal_id=7270865943398518050

数据: 视频链接 / 视频标题

抓包分析

通过开发者工具进行抓包分析

I. 打开开发者工具: F12

II. 刷新网页

III. 找到数据链接

视频链接:

https://v26-web.dyvod.com/295eea512e6f187309e6181297ec185e/64e8a7f8/video/tos/cn/tos-cn-ve-15c001-alinc2/o8vKACOD9NSbaA3mnggzfIO5QAgkqHnGr7sAeB/?a=6383&ch=26&cr=3&dr=0&lr=all&cd=0%7C0%7C0%7C3&cv=1&br=609&bt=609&cs=2&ds=3&ft=bvTKJbQQqU-mfJ4ZPo0OW_EklpPiXV8zNMVJEdBqSpvPD-I&mime_type=video_mp4&qs=15&rc=NTg8NzpoNGY2aGU0N2k1PEBpajhuNTY6ZmhtbTMzNGkzM0AtMy4xY2E0Xi4xYDNjX15iYSM2bl5scjRvLWdgLS1kLWFzcw%3D%3D&btag=e00010000&dy_q=1692965337&l=20230825200856A1A3326D295C25055965

IV. 通过关键字搜索, 找到链接对应数据包

视频链接 / 标题 --> 来自于网页源代码<进行编码>

数据包:

https://www.dy.com/user/MS4wLjABAAAAB0-gppwu15DtJJZmMpgUqakr7Jw_pmr7skR3IW6MwCQ?modal_id=7270865943398518050

二. 代码实现步骤

发送请求, 模拟浏览器对于url地址发送请求
获取数据, 获取服务器返回响应数据
解析数据, 提取我们需要的数据内容
保存数据, 保存视频数据

代码实现

发送请求

模拟浏览器: <可以直接复制>

response.text 获取响应文本数据
response.json() 获取响应json数据
response.content 获取响应二进制数据

我们使用requests.get()方法向指定的URL发送GET请求，并获取到响应的内容

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
headers = {
   
    # User-Agent 用户代理, 表示浏览器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
}
# 请求链接
url = 'https://www.dy.com/user/MS4wLjABAAAArgJe6h-DzQcvyZ1O71yXSdJFn19Tqq8lFCIffgy5SlhwYlkseK5aM5ETF8KoaGDK?modal_id=7270476649714421046&vid=7269532986553552140'
# 发送请求
response = requests