十年老Python程序员整理的Python爬虫技术，没有我不能爬的视频，只有我顶不住的视频

一、写在前面

真的，为什么别人发游戏这么多人看，我发了两次了加起来才一百个。

算了算了，不整游戏了，反正你们也不爱看~

今天来试试把头条上扭腰上热门的那些妹子爬一爬，不知道我顶不顶得住~

二、准备工作

1、使用的环境

• python 3.8
• pycharm 2021.2 专业版

2、要用的第三方模块

• selenium
• requests
• parsel

三、大致流程

鉴于你们不喜欢我啰嗦，但是流程呢，我还是要给你们写出来，所以我就单独把它列出来了。

1、网站分析(明确需求)

1. 在视频网页源代码当中找到 embedUrl 对应的链接；
2. 在链接当中找到视频播放地址，在元素面板当中；
3. 发现规律 embedUrl上面的 groupby_id 其实就是当前视频链接上的id，下载视频的时候 就只需要 一个 id 就可以下载视频；

2、代码实现过程

1. 构建embedUrl
2. 使用selenium访问该链接
3. 提取视频链接地址
4. 拼接视频链接地址
5. 使用requests发送请求 并且获取视频二进制数据
6. 保存视频

四、代码展示分析

首先导入一下模块

import requests
from selenium import webdriver
复制代码

进入浏览器设置

options = webdriver.ChromeOptions()
复制代码

1、构建embedUrl

group_id = input("请输入你要下载视频的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
复制代码

无头浏览器

options.add_argument("--headless")
复制代码

加一个伪装

options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
复制代码

2、使用selenium访问该链接 driver: 浏览器

driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
复制代码

打开一个网页 驱动配置: 代码操作浏览器的一个中间人

driver.get(url)
复制代码

隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行

driver.implicitly_wait(5)
复制代码

3、提取视频链接地址

info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
复制代码

4、拼接视频链接地址

video_url = 'http:' + video_url
复制代码

5、使用requests发送请求 并且获取视频二进制数据

video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)
复制代码

五、所有代码

import requests
from selenium import webdriver

# 进入浏览器设置
options = webdriver.ChromeOptions()
# 1\. 构建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
group_id = input("请输入你要下载视频的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
# 无头浏览器
options.add_argument("--headless")
# 加一个伪装
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
# 2\. 使用selenium访问该链接
# driver: 浏览器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
# 打开一个网页
# 驱动配置: 代码操作浏览器的一个中间人
driver.get(url)
# 隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行
driver.implicitly_wait(5)
# 3\. 提取视频链接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
# 4\. 拼接视频链接地址
video_url = 'http:' + video_url
# 5\. 使用requests发送请求 并且获取视频二进制数据
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)
print("爬取成功!!!")
#留了报错，看看大家够不够机智找出来

最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF资料

四、入门学习视频

五、实战案例

六、面试资料

如果需要可以微信扫描下方CSDN官方认证二维码免费领取