一篇文章让你没有爬不到的shipin，只有顶不住的shipin

唠唠嗑

嗨嗨，各位下午好，我是小圆 ~

今天给你们带来点好东西，不知道你们喜不喜欢看小姐姐跳舞的视频，我反正是挺喜欢的

之前发的那些学习资料一些其他的内容你们都不喜欢看，那今天就教你们爬一爬 某条上扭腰上热门小姐姐视频，不知道你们能不能顶得住

准备工作

1、使用的环境

python 3.8
pycharm 2021.2 专业版

2、要用的第三方模块

• selenium
• requests
• parsel

大致流程

不啰嗦不啰嗦，我就把流程写出来单独列出来

1、网站分析(明确需求)

1. 在视频网页源代码当中找到 embedUrl 对应的链接；
2. 在链接当中找到视频播放地址，在元素面板当中；
3. 发现规律 embedUrl上面的 groupby_id 其实就是当前视频链接上的id，下载视频的时候 就只需要 一个 id
   就可以下载视频

2、代码实现过程

1. 构建
2. 使用selenium访问该链接
3. 提取视频链接地址
4. 拼接视频链接地址
5. 使用requests发送请求 并且获取视频二进制数据
6. 保存视频

如果大家在学习Python的过程中不知道学习方向，该怎么学，没有好的系统的学习资料、没人交流解答等等，都可以私我，我都给大家准备好了。

或者直接来这里！https://jq.qq.com/?_wv=1027&k=pmuFuQZa

代码展示分析

单列出来

首先导入一下模块

import requests
from selenium import webdriver

进入浏览器设置

options = webdriver.ChromeOptions()

1、构建

group_id = input("请输入你要下载视频的id:")
url = 'https://www.i某瓜.com/embed?group_id=' + group_id

无头浏览器

options.add_argument("--headless")

加一个伪装

options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')

2、使用selenium访问该链接
driver: 浏览器

driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)

打开一个网页
驱动配置: 代码操作浏览器的一个中间人

driver.get(url)

隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行

driver.implicitly_wait(5)

3、提取视频链接地址

info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")

4、拼接视频链接地址

video_url = 'http:' + video_url

5、使用requests发送请求 并且获取视频二进制数据

video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)

所有代码

import requests
from selenium import webdriver

# 进入浏览器设置
options = webdriver.ChromeOptions()
# 1. 构建embedUrl https://www.i某瓜.com/embed?group_id=7029910152576926238
group_id = input("请输入你要下载视频的id:")
url = 'https://www.i某瓜.com/embed?group_id=' + group_id
# 无头浏览器
options.add_argument("--headless")
# 加一个伪装
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
# 2. 使用selenium访问该链接
# driver: 浏览器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
# 打开一个网页
# 驱动配置: 代码操作浏览器的一个中间人
driver.get(url)
# 隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行
driver.implicitly_wait(5)
# 3. 提取视频链接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
# 4. 拼接视频链接地址
video_url = 'http:' + video_url
# 5. 使用requests发送请求 并且获取视频二进制数据
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)
print("爬取成功!!!")
#留了报错，看看大家够不够机智找出来

好了好了，朋友们，分享完了，快去看看有没有自己喜欢的视频，赶紧动手试一试把

觉得对你们有帮助的，记得给我三连 ！！