爬虫实战：爬取bilibiliTop100条热门视频信息

最新推荐文章于 2024-03-17 16:32:09 发布
最新推荐文章于 2024-03-17 16:32:09 发布
阅读量5.8k 收藏 58
点赞数 12
文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49005782/article/details/116234293
版权

爬取bilibiliTop100条热门视频信息

对于信息的爬取可以分为三个步骤进行处理，分别是获取网页、获取和解析数据最后保存数据。于是我们的主函数的框架如下：

def main():
#     1. 获取网页
    baseurl = "https://www.bilibili.com/v/popular/rank/all"
#     2. 获取和解析数据
    datalist = getData(baseurl)
#     3. 保存数据
    savepath = "./B站热门视频.xls"
    saveData(datalist,savepath)

爬虫毕竟是爬虫在它进行网页的访问的时候一般不能够直接进行访问，需要进行一定的伪装，伪装的信息可以通过Fn+F12查看。

以上URL是我们目标爬取网址，访问的方式也可以看到是GET，为了进行伪装，需要得到访问网页的正式信息，我们继续查看信息，可以看到以下：

在这里插入图片描述

这里我们选取user-agent和cookies这两条信息(伪装的信息越多越好)，user-agent其实是游览器的版本信息，cookies是用户的信息(非常重要，没有会被反扒)。

def askURL(url):
      head = {
        "user-agent" : "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 88.0.4324.104 Safari / 537.36",
        "referer" : "https: // www.bilibili.com /",
        "cookie": "_uuid = DFE59F2A - D16B - 327E - D501 - 9CA14392FF8059467infoc;buvid3 = 0041FC1C - 2C18 - 4DDE - 965F - 9DEF43D88176155809infoc;rpdid = | (YYR~ | uklm0J'ul))u~JRuJ; sid=9n9kd7a4; LIVE_BUVID=AUTO2815885539756041; blackside_state=1; CURRENT_FNVAL=80; PVID=1; CURRENT_QUALITY=80; DedeUserID=434641640; DedeUserID__ckMd5=1b9357ca56a49330; SESSDATA=ab62e58a%2C1619879365%2C80832*b1; bili_jct=01ecd2f4c1f3d0e94aa31b03a7bea6ec; bp_t_offset_434641640=491560557515702800; bp_video_offset_434641640=491834756822300005; finger=1777945899"
    }
    request = urllib.request.Request(url,headers = head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e,"code")
        if hasattr(e,"reason"):
            print(e,"reason")
    return html

在获取完网页的解析后的html文件之后，然后就是对你需要的信息进行筛选，通过观察信息的结构先进行定位，定位之后在通过正则表达式再次进行信息的筛选。

可以通过以下的方式获取需要的信息的特征，比如我需要得到B站热门视频的每条视屏的信息：

在这里插入图片描述

以下就是对应的模块的代码信息：

在这里插入图片描述

找寻的方式有很多，比如你可以用li行进寻找，每一个li都对应着一个热门视频信息。但其实发现在所有内容中只有在这个模块中div对应的class是content，于是我们可以用一下的方式进行寻找：

html = askURL(baseurl)

soup = BeautifulSoup(html, "html.parser") 

soup.find_all("div",class_="content")

在确定每个视频的位置之后，就只需要在获得的代码中进一步筛选，比如需要在这个模块中找出排名、链接、名字、播放量、评论数、综合得分等等…

那就意味着，我们需要对每一个你需要得到的信息进行特征的提取，然后再是筛选出信息，这里就需要用到正则表达式：

findLink = re.compile(r'<a href="(.*?)" target="_blank">')
findName = re.compile(r'<a class="title" href=".*?" target="_blank">(.*)</a>')
findPlay = re.compile(r'<span class="data-box"><i class="b-icon play"></i>(.*?)</span>',re.S)
findView = re.compile(r'<span class="data-box"><i class="b-icon view"></i>(.*?)</span>',re.S)
findUP = re.compile(r'<span class="data-box up-name"><i class="b-icon author"></i>(.*?)</span>',re.S)
findGrades = re.compile(r'<div class="pts"><div>(.*?)</div>')

以上是通过观察源代码，发现每条信息的特征，然后用正则表达式表示这种特征，于是我们有以下获取信息的代码：

def getData(baseurl):
    datalist = []
    html = askURL(baseurl)
    # print(html)
    soup = BeautifulSoup(html, "html.parser")  # 形成树形结构对象
    for item in soup.find_all("div",class_="content"):
        # print(item)
        data = []
        item = str(item)
        # 视频链接
        link = re.findall(findLink,item)[0]
        data.append(link)
        # 视频名字
        name = re.findall(findName,item)[0]
        data.append(name)
        # 播放量
        play = re.findall(findPlay,item)[0]
        # print(play)
        data.append(play)
        # 评论数
        view = re.findall(findView,item)[0]
        # print(view)
        data.append(view)
        # UP个人空间链接
        uplink = re.findall(findLink,item)[1]
        # print(uplink)
        data.append(uplink)
        # UP主
        UP = re.findall(findUP,item)[0]
        # print(UP)
        data.append(UP)
        # 综合得分
        grades = re.findall(findGrades,item)[0]
        # print(grades)
        data.append(grades)
        datalist.append(data)

    return datalist

在获取完数据之后，就需要对数据进行保存，可以直接用表格保存，这样方便，也可以用数据库保存。

def saveData(datalist,savepath):
    book = xlwt.Workbook(encoding="utf-8")
    sheet = book.add_sheet("B站热门",cell_overwrite_ok=True)
    col = ("排名","视频链接","视频名字","播放量","评论数","UP个人空间链接","UP主","综合得分")
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,100):
        print("第%d条"%i)
        data = datalist[i]
        sheet.write(i+1,0,i+1)
        # print(data)
        for j in range(0,7):
            sheet.write(i+1,j+1,data[j])

    book.save(savepath)  # 保存数据表

那么以上就完成了整个信息爬取的过程，以下贴上全部代码：

from bs4 import BeautifulSoup           #网页解析，获取数据
import re                               #正则表达式，进行文字匹配
import urllib.request,urllib.error      #指定URL，获取网页数据
import xlwt                             #进行excel操作

def main():
#     1. 获取网页
    baseurl = "https://www.bilibili.com/v/popular/rank/all"
#     2. 获取和解析数据
    datalist = getData(baseurl)
#     3. 保存数据
    savepath = "./B站热门视频.xls"
    saveData(datalist,savepath)

findLink = re.compile(r'<a href="(.*?)" target="_blank">')
findName = re.compile(r'<a class="title" href=".*?" target="_blank">(.*)</a>')
findPlay = re.compile(r'<span class="data-box"><i class="b-icon play"></i>(.*?)</span>',re.S)
findView = re.compile(r'<span class="data-box"><i class="b-icon view"></i>(.*?)</span>',re.S)
findUP = re.compile(r'<span class="data-box up-name"><i class="b-icon author"></i>(.*?)</span>',re.S)
findGrades = re.compile(r'<div class="pts"><div>(.*?)</div>')


def getData(baseurl):
    datalist = []
    html = askURL(baseurl)
    # print(html)
    soup = BeautifulSoup(html, "html.parser")  # 形成树形结构对象
    for item in soup.find_all("div",class_="content"):
        # print(item)
        data = []
        item = str(item)
        # 视频链接
        link = re.findall(findLink,item)[0]
        data.append(link)
        # 视频名字
        name = re.findall(findName,item)[0]
        data.append(name)
        # 播放量
        play = re.findall(findPlay,item)[0]
        # print(play)
        data.append(play)
        # 评论数
        view = re.findall(findView,item)[0]
        # print(view)
        data.append(view)
        # UP个人空间链接
        uplink = re.findall(findLink,item)[1]
        # print(uplink)
        data.append(uplink)
        # UP主
        UP = re.findall(findUP,item)[0]
        # print(UP)
        data.append(UP)
        # 综合得分
        grades = re.findall(findGrades,item)[0]
        # print(grades)
        data.append(grades)
        datalist.append(data)

    return datalist



def saveData(datalist,savepath):
    book = xlwt.Workbook(encoding="utf-8")
    sheet = book.add_sheet("B站热门",cell_overwrite_ok=True)
    col = ("排名","视频链接","视频名字","播放量","评论数","UP个人空间链接","UP主","综合得分")
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,100):
        print("第%d条"%i)
        data = datalist[i]
        sheet.write(i+1,0,i+1)
        # print(data)
        for j in range(0,7):
            sheet.write(i+1,j+1,data[j])

    book.save(savepath)  # 保存数据表



def askURL(url):
    head = {
        "user-agent" : "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 88.0.4324.104 Safari / 537.36",
        "referer" : "https: // www.bilibili.com /",
        "cookie": "_uuid = DFE59F2A - D16B - 327E - D501 - 9CA14392FF8059467infoc;buvid3 = 0041FC1C - 2C18 - 4DDE - 965F - 9DEF43D88176155809infoc;rpdid = | (YYR~ | uklm0J'ul))u~JRuJ; sid=9n9kd7a4; LIVE_BUVID=AUTO2815885539756041; blackside_state=1; CURRENT_FNVAL=80; PVID=1; CURRENT_QUALITY=80; DedeUserID=434641640; DedeUserID__ckMd5=1b9357ca56a49330; SESSDATA=ab62e58a%2C1619879365%2C80832*b1; bili_jct=01ecd2f4c1f3d0e94aa31b03a7bea6ec; bp_t_offset_434641640=491560557515702800; bp_video_offset_434641640=491834756822300005; finger=1777945899"
    }
    request = urllib.request.Request(url,headers = head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e,"code")
        if hasattr(e,"reason"):
            print(e,"reason")
    return html




if __name__ == "__main__":  #程序执行时
    #调用函数
    main()
    print("爬取完毕！")
call me Patrick
关注
  • 12
    点赞
  • 踩
  • 58
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
一种方便快捷的B站爬虫方法
qq_35237976的博客
11-20 2069
最近需要用到B站上的一些数据，例如弹幕和评论，无意间发现B站大佬在github开源了一个B站API调用库，使用文档详细，有人更新维护。 GitHub 地址为：https://github.com/Passkou/bilibili_api 目前已经更新到了v3.1.2版本。 通过这个 API 调用模块，我们可以实现获取视频的评论、弹幕、播放量等信息，还可以实现投币、点赞、发送弹幕等一系列的用户功能，非常方便。 在使用这个 API 之前，我们需要安装该库 pip install bilibili_a
python爬取b站排行榜,爬取B站排行榜Top100的视频数据
weixin_30297493的博客
03-26 1325
from bs4 import BeautifulSoup #解析网页import re # 正则表达式，进行文字匹配import urllib.request,urllib.errorimport sqlite3import timedef main():#声明爬取网站baseurl = "https://www.bilibili.com/v/popular/rank/all"#爬取网页data...
基于Bilibili热门视频Top100最热分区爬取与分析
weixin_41108515的博客
05-18 1858
网络爬虫——基于Bilibili热门视频Top100最热分区爬取与分析 这个主要是配合之前报告使用的，这里就不多赘述了。 先爬地址，再爬取地址里的分区，最后整合。csv存储。 实验内容 目标网站：Bilibili热门视频Top100 目标网址： https://www.bilibili.com/ranking?（每过几天都会变的哦） from lxml import etree import time import jieba import numpy as np from PIL import Image
Python：从B站获取TOP100视频封面和源代码——爬虫教程
Neco-Dec12.的博客
03-17 780
在本教程中，我们将学习如何使用Python编写一个简单的爬虫，从B站获取TOP100视频的封面图片和相关的源代码数据。
自动爬取bilibi小视频
u014552259的博客
09-10 456
自动爬取bilibi小视频实验目的实验环境实验步骤第一步：查找request URL请求地址第二步：代码实现1、访问目标网址代码2、下载情况展示3、编写主函执行程序 实验目的 通过Python访问哔哩哔哩网站抓取每次小视频排行前100的视频，并保存到本地文件加下。通过该案例能够了解爬虫中请求头的设置方法，掌握使用requests访问目标网址的方法，通过标签找到视频的连接并下载到本地。 实验环境 ...
哔哩哔哩视频信息爬虫（实时爬取）
weixin_44245778的博客
12-19 4236
结合哔哩哔哩小助手程序 爬取思路： 自定义模块构建及框架设计： 文件目录： __init__.py: #__init__ """ 浏览json数据 videoinfo = [ data['aid'], # av号 data['view'], # 播放...
爬取B站热门视频
yezikeji的博客
01-14 151
def get_headers(): “”" 生成响应头 :return: 生成的响应头 “”" # 随机生成user_agent user_agent = my_fake_useragent.UserAgent() ua = str(user_agent.random()) headers = {http://yezishuju.com/ ‘user-agent’: ua } return headers
bilibili用户信息爬虫（全网最全）
热门推荐
weixin_41701847的博客
12-10 1万+
bilibili用户信息爬虫 Github: Leopard-C/BiliUserSpider 0. 成果 bilibili御坂网络计划：https://misaka.sisters.top 备用网址：https://misakasisters.bilibiliq.com 只保留与此相关的数据，其余数据已删除 1. 环境 开发环境 服务器 客户端 管理程序 语言 C++11 C++11 C++11 开发环境 Linux/vim/xmake VS2017 VS2017+Qt5.1
爬虫实战：爬取CSDN2022.6.21首页HTML代码
06-21
运用工具： Python3.10.2 urllib
python 爬虫实战案例：爬取网易云音乐评价 源码
04-30
本实战案例将展示如何使用Python编写一个简单的网络爬虫，用于爬取网易云音乐上的歌曲评价。案例将涉及发送HTTP请求、解析网页内容以及数据提取的基本技术。 适用人群 编程初学者：希望通过实际项目学习网络爬虫的...
python 爬虫项目实战：批量爬取B站小视频 源码
最新发布
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
Python爬虫框架Scrapy入门（三）爬虫实战：爬取链家二手房多页数据使用Item Pipeline处理数据
12-22
Scrapy犹如一个爬虫流水线，Item Pipeline是流水线的最后一道工序，但它是可选的，默认关闭，使用时需要将它激活。如果需要，可以定义多个Item Pipeline组件，数据会依次访问每个组件，执行相应的数据处理功
每日爬虫练习：爬取最新搞笑段子
12-21
2020-02-22日爬虫练习 ...爬虫实战爬取笑话网 version：01 author：金鞍少年 date:2020-03-22 ''' from bs4 import BeautifulSoup import requests import json class biedoul: def __init__(self, url,co
哔哩哔哩分区视频详细信息爬取（三连、播放量、标签）等
南岛鹋
09-04 6930
因为上手练习一个自己的数据分析项目，因此需要爬取数据。经历过两个版本的更新后，终于写出了第三版。期间也学会了selenium库的运用，API接口的调用，IP池等。 确定目标 因为想要一个量大的数据集，因此没有考虑热榜排名，因为所有区加起来也才一千左右。全部视频信息的话技术不行，然后就盯上了分区榜。 从这个榜单可以选择时间段，可以根据每个月的视频热度排名等信息，来分析月度热点，哪些视频更加容易火，以及各种因素对视频播放量的影响。虽然只是一个小分区月度热度排名，并不包含全部视频，但是数据量也是极大的。下图.
每天B站的热门视频都是哪些？爬取B站热门视频
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
10-17 563
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 这篇文章主要介绍了Python如何爬取b站热门视频并导入Excel,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 代码如下 import requests from lxml import etree import xlwt import os # 爬取b站热门视频信息 def spider(): vide..
动态爬虫(ajax)-爬取bilibili热门视频信息
qq_43954124的博客
01-13 3768
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、页面分析那么，怎么捕获这个接口呢？二、使用步骤1.引入库2.读入数据总结 前言 使用python爬虫爬取bilibli每日热门视频的数据 使用的第三方包有requests、my_fake_useragent 一、页面分析 在进行爬虫之前，我们先要对要爬取的页面进行分析，找到想要使用的接口 bilibili热门排行的地址：https://www.bilibili.com/v/popular/all?spm_id_from=
爬取并分析一下B站的最热视频排行榜，看看大家都喜欢看什么视频
zhoumouren88的博客
06-26 653
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章源于菜鸟学Python ，作者：菜鸟哥 刚接触Python的新手、小白，可以复制下面的链接去免费观看Python的基础入门教学视频 https://v.douyu.com/author/y6AZ4jn9jwKW 前言 现在大家的生活中，已经越来越离不开B站了，2020年的第一季度，B站月活跃用户达到了1.72亿，日活跃用户也已经突破了5000万个用户。源源不断的流量让B站的up主们也是...
爬取bilibiliTop100条热门视频信息
08-08
### 回答1： 您好，爬取B站热门视频信息需要模拟浏览器发送请求并解析返回的HTML页面，可以使用Python中的第三方库requests和BeautifulSoup来实现。以下是示例代码： ```python import requests from bs4 import BeautifulSoup url = 'https://www.bilibili.com/v/popular/rank/all' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') video_list = soup.select('.rank-item') for video in video_list: title = video.select('.title')[0].get('title') link = 'https:' + video.select('.title')[0].get('href') play_count = video.select('.data-box > span')[0].get_text() print(title, link, play_count) ``` 运行代码即可输出排名前100的视频的标题、链接和播放量。注意，为了避免被B站反爬虫机制封禁IP，需要设置headers中的User-Agent为一个浏览器的User-Agent。 ### 回答2： 爬取Bilibili Top100条热门视频信息可以通过编程语言和网络爬虫实现。以下是一个大致的步骤： 1. 确定爬取的目标网页：在Bilibili网站上找到Top100热门视频的排行榜页面。 2. 分析网页结构：打开排行榜页面，并使用浏览器的开发者工具分析网页结构，包括标签、类名和选择器等关键信息。 3. 编写代码：使用合适的编程语言（如Python）和网络爬虫框架（如Requests和BeautifulSoup）编写代码，以获取网页的HTML内容。 4. 解析网页内容：使用BeautifulSoup等工具解析HTML内容，提取出需要的信息，如视频标题、链接、播放量、评论数等。 5. 存储数据：将提取的视频信息存储在数据容器中，可以选择存储在内存、文本文件、数据库等合适的数据结构中。 6. 循环爬取：通过修改URL或翻页操作，循环获取Top100热门视频的信息，直到获取完所有数据或达到设定的数量。 7. 分析和应用：对爬取到的数据进行分析、挖掘和处理，根据需求进行相关的应用开发，如统计不同类型视频的数量、计算热门视频的关注度等。 值得注意的是，进行网络爬虫操作时应尊重网站的规则和遵守法律法规，不要过于频繁地请求，以免给网站带来压力和不必要的麻烦。 ### 回答3： 要爬取Bilibili Top100条热门视频信息，可以使用Python编程语言结合爬虫框架进行实现。 首先，我们可以选择使用Selenium库模拟浏览器行为来加载Bilibili的网页。安装Selenium库后，可以使用以下代码启动一个浏览器并打开Bilibili的Top100视频排行榜页面： ```python from selenium import webdriver # 创建一个Chrome浏览器实例 driver = webdriver.Chrome() # 打开Bilibili Top100视频排行榜页面 driver.get('https://www.bilibili.com/v/popular/rank/all') ``` 接下来，可以通过查看页面源代码以及分析页面结构，找到包含热门视频信息的HTML元素，并使用XPath或CSS选择器来定位这些元素。例如，可以使用以下代码获取视频标题和播放量： ```python # 使用XPath获取视频标题和播放量 video_titles = driver.find_elements_by_xpath('//li[@class="rank-item"]/a[@class="title"]/text()') play_counts = driver.find_elements_by_xpath('//li[@class="rank-item"]/div[@class="detail"]/span[@class="data-box"]/span[1]/text()') # 打印视频标题和播放量 for title, count in zip(video_titles, play_counts): print(title, count) ``` 上述代码通过XPath定位到每个视频的标题和播放量元素，并将它们分别存储在`video_titles`和`play_counts`中。然后，可以使用循环逐个打印出来。 最后，记得爬取完成后关闭浏览器实例，释放资源： ```python # 关闭浏览器实例 driver.quit() ``` 通过以上步骤，就可以爬取Bilibili Top100条热门视频的信息了。可以根据需要进一步完善代码，比如获取更多信息如视频链接、封面图等。另外，爬取网页时应注意网站的反爬虫机制，避免频繁请求而被封禁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

call me Patrick

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值