学习python很无趣？看看这篇文章教你采集无水印美女视频（含视频教程）_python带你采集西瓜无水印美女舞蹈视频数据~-CSDN博客

本文链接：https://blog.csdn.net/Esther_sl/article/details/126972886

前言

嗨嗨，大家下午好 ~

我又来给你们送福利了嘿嘿

今天教你们如何用python实现批量采集美女视频 ~

小声说：这次还有视频教程！

请添加图片描述

正文

环境使用

Python 3.8
Pycharm
谷歌浏览器
谷歌驱动

安装教程可以私信找我获取 ~

模块使用:

requests >>> pip install requests
re
json 用来转换数据类型 序列化和反序列化模块
selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)
回车
在pycharm中点击Terminal(终端) 输入安装命令

按照常规基本思路流程: <模板, 可以套用>

批量采集shipin —> 由浅到深采集一个shipin 采集多个

一. 数据来源分析 <shipin内容>

通过开发者工具抓包分析, shipin url地址来自于哪里, shipin标题在什么地方

F12打开开发者工具, 或者鼠标右键点击检查选择network <在网页在浏览器上面进行操作>
点击刷新网页, 让本网页相关数据内容, 重新加载一遍 <相对应相关数据包数据内容就展示出来>
找shipin链接在哪里 ----> 常规找shipinurl地址是 media 里面
找shipin url 来源, 出处 —> 通过在开发者工具关键字搜索可以找到我们想要的数据在哪里, 只是说
找到数据是进行编码,到时候写代码的时候进行解码就Ok了

请添加图片描述

二. 代码实现步骤

发送请求, 模拟浏览器对于网址发送请求
获取数据, 获取response响应数据
解析数据, 提取我们想要shipin url地址和 shipin标题
保存数据, 把shipin内容保存到本地

代码

在这里插入图片描述
需要源码的私信我

"""
selenium ---> 使用驱动 ---> 控制浏览器
    模拟人的行为去操作浏览器
"""
# 打开浏览器
driver = webdriver.Chrome()
# 访问网站
driver.get('https://www..com/user/MS4wLjABAAAA0ihE2gYz13hwfPpxiZz50L7QM761qG-m28wj-oyWJTMqEJh5TR92GIJI7r-FW-8n')
# 等待
driver.implicitly_wait(10)

def drop_down():
    """执行页面滚动的操作"""  # javascript
    for x in range(1, 10, 2):  # 1 3 5 7 9  在你不断的下拉过程中, 页面高度也会变的
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滚动条的位置
        # document.documentElement.scrollHeight 获取浏览器页面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)