爬虫经典老四步:
1.分析网页
2.对网页发送请求,获取响应
3.提取解析数据
4.保存数据
本案例所用到的模块:
import requests
import you_get # 如果没有该模块,pip install you-get安装即可
import sys
import os
一、分析网页
b站有两种找到接口的情况,如果你是在主页搜索输入需要搜索的内容的话,网站会自动跳转到另一个页面,经过分析,这个页面里面的数据,获取到的数据是html的源码数据,这次本案例不对html这个源码数据进行讲解。我们需要找到的是b站的另一个有数据的接口,这个接口里面的数据是json数据,这个接口如果你直接找,是找不到的,有个方法,你只需要在翻页的地方,点击访问下一页的数据就可以找到这个接口了,如图:
通过分析这个接口网址,我们可以看到这是一个这个网址里面的数据是json数据:
数据网址有了,现在就是分析这个网址了,我们可以看到这个网址里面有很多参数:
page这个参数就是网页翻页需要的参数,keyword这个参数就是需要搜索的内容,也就是说我们在这里输入自己想找的内容,就会有关于这个内容的信息。
通过上面的一系列分析,我的思路是,对接口地址发送请求,获取到响应数据,提取出每个视频的url地址,然后通过you-get这个模块工具,进行下载视频。
二、构建params参数
def get_params(self):
"""
构建params参数的方法
:return:
"""
params = {
"context": "",
"page": str(self.page),
"order": "",
"keyword": self.search_name,
"duration": "",
"tids_1": "",
"tids_2": "",
"__refresh__": "true",
"_extra": "",
"search_type": "video",
"highlight": "1",
"single_column": "0",
}
return params
三、通过构建好的参数,发送请求,获取响应
def parse_url(self, url):
"""
发送请求,获取响应数据的方法
:param url:
:return:
"""
params = self.get_params()
response = requests.get(url, headers=self.headers, params=params)
if response.status_code == 200:
return response.json()
四、解析提取每个视频的url地址
def get_video_url(self, json_str):
"""
提取视频链接地址的方法
:param json_str:
:return:
"""
for json_data in json_str.get('data').get('result'):
yield {
"video_url": json_data.get('arcurl')
}
五、通过you-get模块下载视频
def down_video(self, video_url):
"""
下载视频的方法
:param video_url:
:return:
"""
os.makedirs('./video/', exist_ok=True)
path = './video/'
# 使用sys.argv内置方法,可以在代码中输入CMD命令
sys.argv = ['you-get', '-o', path, video_url]
# 通过you-get模块,实现下载
you_get.main()
因为如果要用you-get这个模块下载视频,需要在命令行下输入命令才能执行,所以我会先通过sys这个模块里面的sys.argv这个内置方法,该方法可以让代码在命令行下输入命令执行,然后就可以执行you-get了,you-get模块有一个好处,就是不需要提取视频的名字,它会自动帮你解析出来视频的名字,然后自动命名到你保存的视频中。
效果展示:
可以看到它会有自己的进度条显示,有该视频信息的显示,有该视频的清晰度,这个就是you-get的强大之处。目前You-Get可以下载的网站有很多,比如国外的Youtube、Vimeo、Tumblr、Instagram等,国内的爱奇艺、优酷、乐视、哔哩哔哩,感兴趣的可以自己试试。
六、完整代码
# 导入需要的模块
import requests
import you_get
import sys
import os
class BiliVideoSpider:
"""爬取B站视频"""
def __init__(self, search_name, page):
self.API_URL = 'https://api.bilibili.com/x/web-interface/search/type'
self.headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36 FS'
}
self.search_name = search_name
self.page = page
def get_params(self):
"""
构建params参数的方法
:return:
"""
params = {
"context": "",
"page": str(self.page),
"order": "",
"keyword": self.search_name,
"duration": "",
"tids_1": "",
"tids_2": "",
"__refresh__": "true",
"_extra": "",
"search_type": "video",
"highlight": "1",
"single_column": "0",
}
return params
def parse_url(self, url):
"""
发送请求,获取响应数据的方法
:param url:
:return:
"""
params = self.get_params()
response = requests.get(url, headers=self.headers, params=params)
if response.status_code == 200:
return response.json()
def get_video_url(self, json_str):
"""
提取视频链接地址的方法
:param json_str:
:return:
"""
for json_data in json_str.get('data').get('result'):
yield {
"video_url": json_data.get('arcurl')
}
def down_video(self, video_url):
"""
下载视频的方法
:param video_url:
:return:
"""
os.makedirs('./video/', exist_ok=True)
path = './video/'
# 使用sys.argv内置方法,可以在代码中输入CMD命令
sys.argv = ['you-get', '-o', path, video_url]
# 通过you-get模块,实现下载
you_get.main()
def run(self):
"""
实现主要逻辑思路的方法
:return:
"""
# 1.发送请求,获取响应数据
json_str = self.parse_url(self.API_URL)
# 2.提取需要的视频地址数据
video_url_list = self.get_video_url(json_str)
for video_url in video_url_list:
# 3.下载需要的视频数据
self.down_video(video_url.get('video_url'))
if __name__ == '__main__':
for page in range(1, 2):
search_name = input('请输入你需要下载的视频名称:')
biliVideo_spider = BiliVideoSpider(search_name, page)
biliVideo_spider.run()