python 获取本地视频信息_Python利用B站API获取视频信息

本帖最后由 skeep 于 2017-7-23 12:28 编辑

Python利用B站API获取视频信息

这两天工作中需要写两个简单的爬虫，我自己参考网上的资料，手动实现了一下，今天总结一下发给大家。

[参考链接]：https://www.v2ex.com/t/347986

编写爬虫首先是分析想要爬去的页面url格式或者html页面中的标签的链接。

11.jpg (110.69 KB, 下载次数: 1)

11

2017-7-23 12:11 上传

在浏览器中按F12打开监控面板，选择network页面，该页面中可以分析浏览器与服务器之间的交互情况。

22.jpg (141.88 KB, 下载次数: 0)

22

2017-7-23 12:11 上传

按F5刷新页面，浏览器会向服务器发送很多请求，服务器也会对浏览器的请求做出相应相应。我们在下方选择Other，这样便可以筛选出其他类型。

33.jpg (115.21 KB, 下载次数: 0)

33

2017-7-23 12:11 上传

我们从中选择json类型的HTTP请求，然后逐个观察分析，在每个HTTP请求的详情页中，选择Response，查看服务器发回的响应。

44.jpg (170.44 KB, 下载次数: 0)

44

2017-7-23 12:11 上传

一直向下分析，直到找到一个返回的JSON中的内容正是我们所需的那条请求记录，其开头为stat?callback,可以看到其内部的返回数据与页面中的是有着对应关系的

55.jpg (169.05 KB, 下载次数: 0)

55

2017-7-23 12:11 上传

在右侧的HTTP详情页面中选择Headers，然后点击Edit and Resend按钮，将找到的链接复制一下

66.jpg (134.07 KB, 下载次数: 0)

66

2017-7-23 12:11 上传

77.jpg (134.57 KB, 下载次数: 0)

77

2017-7-23 12:11 上传

在浏览器中新开一个标签页，然后将刚才复制的链接粘贴到到浏览器地址栏中，可以看到得到的便是json串。

88.jpg (67.87 KB, 下载次数: 0)

88

2017-7-23 12:11 上传

我们看到这个链接非常长，带了很多冗余信息，不方便我们最后编写爬虫的URL，尝试一下之后，发现最终可以简化成http://api.bilibili.com/x/web-interface/archive/stat?aid=10001, 访问该地址，发现我们的主要数据依旧存在

99.jpg (46.23 KB, 下载次数: 0)

99

2017-7-23 12:11 上传

主要代码如下

#craw_bilibili.py

import time

import requests

import sys

from prettytable import PrettyTable

#设置编码方式

reload(sys)

sys.setdefaultencoding(‘utf-8’)

#返回爬取的数量

def get_Craw_num():

print("-----------菜 单--------------")

i=str(raw_input("请输入爬取视频的起始编号"))

print("-----------------------------")

return i

#爬虫的功能实现

def start_craw(url):

print("开始爬取，请稍候")

headers={}

x=PrettyTable(['视频编号','播放量','弹幕','回复','收藏','硬币','分享'])

t=0

i=get_Craw_num()

while(t<100):

r=requests.get(url.format(i),headers=headers)

if r.status_code ==200:

try:

j=r.json()['data']

favorite=j['favorite']

danmaku=j['danmaku']

coin=j['coin']

view=j['view']

share=j['share']

reply=j['reply']

favorite=str(favorite)

danmaku=str(danmaku)+" "

coin=str(coin)

view=str(view)

share=str(share)

reply=str(reply)

av_num="av"+str(i)

x.add_row([av_num,view,danmaku,reply,favorite,coin,share])

except Exception as e:

pass

else:

break

i=i+1

t=t+1

print (x)

print("爬取完成")

#main函数

if __name__=="__main__":

url='https://api.bilibili.com/x/web-interface/archive/stat?aid={}'

start_craw(url)

部分代码解释

首先是导入所需的python库，以及设置编码方式为utf-8。其中PrettyTable库的作用是可以将数据按照表格的形式展示出来。代码为：

1.jpg (19.01 KB, 下载次数: 0)

1 导入python包

2017-7-23 11:52 上传

编写获取用户输入的爬取数量的函数。将输入的数值转化成int类型，然后返回，具体代码如下：

2.jpg (21.34 KB, 下载次数: 0)

2 获取输入

2017-7-23 12:06 上传

其次是爬虫的主体部分。首先是用prettytable，插入表头信息，然后开始构造url地址，用requests方法获取url内容，对于返回的json串进行解析，然后将每个数值对应的插入到表格中，如果插入记录到达100条，则退出该函数，具体代码如下编写主函数。

3.png (124.66 KB, 下载次数: 0)

3 爬虫主体

2017-7-23 12:06 上传

主函数直接调用，爬虫的主体部分，代码如下：

4.jpg (10.86 KB, 下载次数: 0)

4 主函数

2017-7-23 12:06 上传

效果展示

随便输入一个数字，如10086，然后回车，稍等一会便可以打印爬取结果

111.png (108.73 KB, 下载次数: 1)

111

2017-7-23 12:24 上传

222.png (1.02 MB, 下载次数: 0)

222

2017-7-23 12:25 上传