爬爬B站的热榜

本来是想爬爬B站每周必刷，但是发现每次返回的数据都不一样，是动态的；然后发现热榜没有变化，那就爬爬热榜排名吧。

首先分析源码：

发现榜单都在 < li >标签中，先找出该全部标签，然后再详细分析里面的信息。

好了前期准备工作已经完成，接下来就是操作了：
根据上面分析的提取我们需要的信息

url='https://www.bilibili.com/v/popular/rank/all'  
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'}
rank=requests.get(url,headers=headers)  #请求页面
soup=BeautifulSoup(rank.text,'lxml')
all_rank=soup.find_all('li',class_='rank-item')

num=0
for i in all_rank:
    record=[]
    rank_num=i.find('div',class_='num').text #获取排名
    
    info=i.find('div',class_='info')     #筛选出视频详细信息的标签
    href=info.find('a',class_='title').attrs['href']#获取链接
    title=info.find('a',class_='title').text#获取标题

    play_num=info.find('i',class_='b-icon play').parent.text #获取播放量
    view_num=info.find('i',class_='b-icon view').parent.text #获取评论数
    author=info.find('i',class_='b-icon author').parent.text #获取作者名
    scores=info.find('div',class_='pts').find('div').text #获取综合得分

保存数据：

#数据存放在EXCEl表中
title_name=['排名','视频名称','播放量','弹幕数','综合得分','作者','链接']
Excel=xlwt.Workbook(encoding='utf-8')
Excelsheet=Excel.add_sheet("哔哩哔哩热榜")
for i in range(len(title_name)):
    Excelsheet.col(i+1).width=256*30
    Excelsheet.write(0,i,title_name[i])

最后完整代码附上：

import requests
from bs4 import BeautifulSoup 
import xlwt
"""
    爬一下B站热榜排行
"""

url='https://www.bilibili.com/v/popular/rank/all'  
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'}

#数据存放在EXCEl表中
title_name=['排名','视频名称','播放量','弹幕数','综合得分','作者','链接']
Excel=xlwt.Workbook(encoding='utf-8')
Excelsheet=Excel.add_sheet("哔哩哔哩热榜")
for i in range(len(title_name)):
    Excelsheet.col(i+1).width=256*30
    Excelsheet.write(0,i,title_name[i])

rank=requests.get(url,headers=headers)  #请求页面
soup=BeautifulSoup(rank.text,'lxml')
all_rank=soup.find_all('li',class_='rank-item')

num=0
for i in all_rank:
    record=[]
    rank_num=i.find('div',class_='num').text #获取排名
    
    info=i.find('div',class_='info')     #筛选出视频详细信息的标签
    href=info.find('a',class_='title').attrs['href']#获取链接
    title=info.find('a',class_='title').text#获取标题

    play_num=info.find('i',class_='b-icon play').parent.text #获取播放量
    view_num=info.find('i',class_='b-icon view').parent.text #获取评论数
    author=info.find('i',class_='b-icon author').parent.text #获取作者名
    scores=info.find('div',class_='pts').find('div').text #获取综合得分

    record.append(rank_num)
    record.append(title)
    record.append(play_num)
    record.append(view_num)
    record.append(scores)
    record.append(author)
    record.append(href)
    num+=1
    #保存数据到excel
    for j in range(len(record)):
        Excelsheet.write(num,j,record[j])

#保存
Excel.save('./bilibili热榜.xls')
print("爬取完成！")

结果为：