【爬虫专栏7】爬取B站排行

最新推荐文章于 2022-10-31 10:12:44 发布
最新推荐文章于 2022-10-31 10:12:44 发布
阅读量385 收藏 1
点赞数
分类专栏： 爬虫和数据分析 文章标签： 乱码 csv 正则表达式 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/summer_bird/article/details/105948537
版权

爬取B站排行

普通格式保存

#好啊吧，我承认这一天我太无聊了水着玩的
import requests
import re
from requests.exceptions import  RequestException
import csv

'''
#csv的a+性质表示追加，这个和pandas的to_csv的mode='a'是一样的道理
csv_file = open(r'E:\vscode_code\爬虫测试\B站\Bzhan.csv', 'w', newline='', encoding='utf-8-sig')  # 解决中文乱码问题
writer = csv.writer(csv_file)
#这个理论上应该用w模式打开，这里懒得改了
writer.writerow(['排名', '名称', '观看人数'])
'''     

url = 'https://www.bilibili.com/ranking/all/0/0/3'

def get_one_page(url):
    try:
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
        response = requests.get(url, headers = headers)
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    #csv的a+性质表示追加，这个和pandas的to_csv的mode='a'是一样的道理
    #csv_file = open(r'E:\vscode_code\爬虫测试\B站\Bzhan.csv', 'a+', newline='', encoding='utf-8-sig')  # 解决中文乱码问题
    #writer = csv.writer(csv_file)
    
    #针对于多条数据的正则表达式爬取，就是用多个括号       
    #针对匹配，一个尖括号结束之后最好用.*?过渡到另一个尖括号，不要什么都不加，可能抓不出来
    #pattern = re.compile(r'<div class="num">(.*?)</div>.*?class="title">(.*?)</a>',re.S)##正则
    pattern = re.compile(r'class="title">(.*?)</a>.*?<div class="num">(.*?)</div>',re.S)##正则

    #pattern = re.compile(r'<div class="num">(.*?)</div>.*?class="title">(.*?)</a>.*?<i class="b-icon play"></i>(.*?)</span>',re.S)##正则
    #r'class="j_th_tit ">(.*?)</a><span class=.*? title="回复">(.*?)</span><span class=.*?title="主题作者:(.*?)" data-field=.*?><span class=.*? title="最后回复时间">(.*?)</span>'
    #这里爬到的是一个元组。所以需要给他隔开，不然csv读取后处理会有些麻烦
    items = re.findall(pattern,html) 
    '''
    for item in items:
        #在这里给他分开读取
        writer.writerow([item[0], item[1], item[2]])
        #print(item)
    '''
    print(items)
    #csv_file.close()

def main():
    html = get_one_page(url)
    #print('打印第',(i+1),'页')
    parse_one_page(html)
    print('ok')

if __name__=='__main__':
    main()

dict格式保存

import requests
import re
from requests.exceptions import  RequestException
import pandas as pd 
import csv

'''
#csv的a+性质表示追加，这个和pandas的to_csv的mode='a'是一样的道理
csv_file = open(r'E:\vscode_code\爬虫测试\B站\Bzhan.csv', 'w', newline='', encoding='utf-8-sig')  # 解决中文乱码问题
writer = csv.writer(csv_file)
#这个理论上应该用w模式打开，这里懒得改了
writer.writerow(['排名', '名称', '观看人数'])
'''     

url = 'https://www.bilibili.com/ranking/all/0/0/3'

def get_one_page(url):
    try:
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
        response = requests.get(url, headers = headers)
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    #csv的a+性质表示追加，这个和pandas的to_csv的mode='a'是一样的道理
    #csv_file = open(r'E:\vscode_code\爬虫测试\B站\Bzhan.csv', 'a+', newline='', encoding='utf-8-sig')  # 解决中文乱码问题
    #writer = csv.writer(csv_file)
    
    #针对于多条数据的正则表达式爬取，就是用多个括号       
    #针对匹配，一个尖括号结束之后最好用.*?过渡到另一个尖括号，不要什么都不加，可能抓不出来
    
    #'class="title">(.*?)</a>'这个正则匹配的是不完全的，会匹配到别的，下面的是对的，匹配度越高越好
    pattern1 = re.compile(r'target="_blank" class="title">(.*?)</a>',re.S)##正则
    pattern2 = re.compile(r'class="num">(.*?)</div>',re.S)##正则

    #这里爬到的是一个元组。所以需要给他隔开，不然csv读取后处理会有些麻烦
    names = re.findall(pattern1,html) 
    nums = re.findall(pattern2,html) 
    print(len(names), len(nums))
    
    #利用字典存储多个内容，这样就可以避免使用for语句使元组隔开后分开读取了，是另外一种可行方法
    data = {'names':names, 'nums':nums}
    basic_data = pd.DataFrame.from_dict(data = data)
    basic_data.to_csv(r'E:\vscode_code\爬虫测试\B站\Bzhan2.csv', index=False, header=True)
    print(basic_data)
    
    '''
    for item in items:
        #在这里给他分开读取
        writer.writerow([item[0], item[1], item[2]])
        #print(item)
    '''
    #print(items)
    #csv_file.close()

def main():
    html = get_one_page(url)
    #print('打印第',(i+1),'页')
    parse_one_page(html)
    print('ok')

if __name__=='__main__':
    main()

多个排行

import requests
import re
from requests.exceptions import  RequestException
import csv

i=[1,168,3,129,4,36,188,160,119,155,5,181]
for j in range(len(i)):
    url = 'https://www.bilibili.com/ranking/all/{}/0/3'.format(i[j])

    def get_one_page(url):
        try:
            headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
            response = requests.get(url, headers = headers)
            if response.status_code==200:
                return response.text
            return None
        except RequestException:
            return None

    def parse_one_page(html):
        #csv的a+性质表示追加，这个和pandas的to_csv的mode='a'是一样的道理
        csv_file = open(r'E:\vscode_code\爬虫测试\B站\Bzhan3.csv', 'a+', newline='', encoding='utf-8-sig')  # 解决中文乱码问题
        writer = csv.writer(csv_file)
        #这个理论上应该用w模式打开，这里懒得改了
        #writer.writerow(['回复数', '元尊贴吧标题'])
        
        #针对于多条数据的正则表达式爬取，就是用多个括号       
        #pattern = re.compile(r'<div class="num">(.*?)</div>.*?class="title">(.*?)</a>',re.S)##正则
        pattern = re.compile(r'<div class="num">(.*?)</div>.*?class="title">(.*?)</a>.*?<i class="b-icon play"></i>(.*?)</span>',re.S)##正则
        #r'class="j_th_tit ">(.*?)</a><span class=.*? title="回复">(.*?)</span><span class=.*?title="主题作者:(.*?)" data-field=.*?><span class=.*? title="最后回复时间">(.*?)</span>'
        #这里爬到的是一个元组。所以需要给他隔开，不然csv读取后处理会有些麻烦
        items = re.findall(pattern,html) 
        
        for item in items:
            #在这里给他分开读取
            writer.writerow([int(item[0])+100*j, item[1], item[2]])
            #print(item)
        
        #print(items)
        csv_file.close()

    def main():
        html = get_one_page(url)
        #print('打印第',(i+1),'页')
        parse_one_page(html)
        print('ok')

    if __name__=='__main__':
        main()
夏友
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫抓取b站排行榜
weixin_50729724的博客
08-02 547
1、什么是爬虫？ 爬虫就是一个程序，模拟浏览器访问页面，并且把页面上的数据抓取下来的一个过程。 原理：爬虫就是用程序模拟浏览器的行为，发送请求给服务器，获取网页的内容，解析网页数据。 2、爬虫做了哪几件事情？ a.发送请求：根据URL发送请求给服务器，获取HTML文本 requests类库来抓数据，去网络上拿东西回来，BeautifulSoup坐解析。 b.解析HTML文本，把需要的数据挑出来 c.从HTML中解析出超链接，继续爬取里面的页面 requests类库来抓数据，去网络上拿东西回来，Beautif
Python——爬取B站科技区排行并把数据存入Excel
qiao39gs的博客
07-31 3084
Python——爬取B站科技区排行并把数据存入Excel 本代码可将B站的科技区的top100爬取下来，并将其数据存储到Excel文件中，可用于多种场合。 需要的库： - requests 用于请求连接到特定网站 - BeautifulSoup 分析，处理得到的HTML代码 - xlwt 将得到的数据存入Excel - time 延时 下载 直接在命令行...
Python爬取B站排行榜前100视频信息
人生苦短， 还不用Python？
11-03 3418
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 目标网页分析 获取数据内容 标题 播放量 弹幕量 作者 综合得分 详情页地址 开发者工具一看，好家伙，就这？ 当看到这样的情况，是真的不用分析什么了，直接就可以从头到尾开始写代码了 直接就是爬虫三部曲走起了。 1、模拟浏览器请求网站获得网页数据； 2、解析网页数据，提取想
b站视频排行榜爬取
weixin_45886778的博客
11-14 2358
bilibili排行榜爬取 众所周知，B站学习软件。哈哈哈哈，今天我们就爬取B站的排行榜。废话不多说了，直接开始了。 #分析： 我们看图一可以发现每个是视频的info都在li的标签里，我可以用xpath得到，在这里我想获得视频的封面，播放量，综合得分以及视频链接；除了封面，其它的都可以得到，后来我在另一个另一个链接中发现了，我在后面会讲到。 图一： 我们点开视频链接，进入视频播放页，F12一下，点击network，让视频播放，会发现有许多xhr文件不断刷新（如图二文件），它以m4s结尾 图二： 我们可推
b站每日排行榜爬虫
Smilecoc的博客
03-27 1408
欢迎关注微信公众号：Romi的杂货铺 回复b站每日排行榜爬虫获取全部源码 爬取B站排行榜前100名的视频名称，作者和播放量，用到的主要有request库获取网页信息，用正则解析网页并使用openpyxl将信息保存在Excel中 第一部分为请求网页获取信息部分，request库的基本用法 def get_html_text(url,self_header): try: res...
python 爬虫项目实战：批量爬取B站小视频 源码
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
网络爬虫-批量爬取B站视频-python练习源码.zip
最新发布
07-06
批量爬取B站小视频爬取B站小视频之获取动态请求数据….爬取B站小视频之随机生成浏览器的头部信息.爬取B站小视频之获取要下载视频...…爬取B站小视频之实时打印文件下载进度……网络爬虫-批量爬取B站视频-python练习源码
爬虫 爬取豆瓣电影排行榜.zip
01-22
"爬虫 爬取豆瓣电影排行榜.zip"这个文件显然包含了编写好的Python爬虫代码，用于抓取豆瓣电影网站上的电影排行榜信息。在这个压缩包中，主要的文件是名为"douban_movie.py"的Python脚本。 爬虫技术的核心在于模拟...
闲鱼爬虫，可以爬取商品
11-19
非常简单的一个闲鱼爬虫，可以爬取自己要求的价格区间的商品
python爬取b站排行榜_实时爬取B站排行榜并保存为表格——每周一个爬虫小教程系列...
weixin_39595621的博客
11-21 687
从这周开始，每周来一个爬虫小教程，希望对你们有所帮助，这次的目标是B站排行榜至于爬取什么内容，目前感觉就把序号，名称以及评分爬取下来吧（因为我是边写教程边写代码的）这次需要用到的知识：Requests模块Xpath模块（说白了就是Html）有看我的博客：www.lanol.cn首先来到这个页面https://www.bilibili.com/ranking/all/0/0/1，目前是全站榜，我们尝...
协程初体验——爬取B站专栏图片
qq_39559879的博客
07-08 620
对于B站专栏这种静态网页来说，爬取图片思路的很简单： 请求网页拿到 HTML 解析拿到的 HTML 提取出图片链接 至于协程我推荐去看 Python 官方文档，然后写几个爬虫试试差不多就明白写法的固定模式了。 直接上代码： BiliArticelImgCrawler.py import re import asyncio from lxml.html import fromstring from crawler import Crawler from config import Config H
python b站 排行_用Python获取B站播放历史记录
weixin_39934640的博客
11-26 150
用 Python 获取 B 站播放历史记录最近 B 站出了一个年度报告，统计用户一年当中在 B 站上观看视频的总时长和总个数。过去一年我居然在 B 站上看了 2600+ 个视频，总计 251 个小时，居然花了这么多时间，吓得我差点把 Bilibili App 卸载了…学习Python中有不明白推荐加入交流群号：960410445群里有志同道合的小伙伴，互帮互助，群里有不错的视频学习教程和PDF！i...
如何快速爬取B站全站视频信息
Python中文社区
11-03 9844
專 欄 ❈陈键冬，Python中文社区专栏作者，知乎专栏：尽瞎扯 GitHub： https://github.com/chenjiandongx ❈ B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。 准备工作 首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打
python爬取b站排行榜
k17041114的博客
09-27 440
爬取b站排行榜并存到mysql中 目的 b站是我平时看得最多的一个网站，最近接到了一个爬虫的课设。首先要选择一个网站，并对其进行爬取，最后将该网站的数据存储并使其可视化。 网站的结构 目标网站:bilibili排行榜 bilibili排行榜的地址 网页的层次 首先要确定要提取的信息，也就是标题、播放量、作者up主、评分、播放量和评论量 在网页源代码中找到要找的信息 每个网页中大...
python爬取音乐排行_Python爬取bilibili Top排行榜视频
weixin_42351606的博客
12-19 356
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境Python 3.6Pycharm相关模块使用import requestsimport reimport jsonimport subprocess目标网页分析B站的视频和音频是分开的，音频url和视频url都在里面提取数据1、正则匹配提取数据2、正则提取出数据为一个列...
用python爬虫爬取B站排名靠前的番剧并存储到sql数据库
yhyxzywl的博客
12-07 475
# -*- coding:utf-8 -*- from ssl import _create_unverified_context from json import loads from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui imp
python爬取b站，超水的，不喜勿喷（喷也喷写高情商的）
m0_47339231的博客
05-03 497
python爬虫爬取b站（只有部分可以) 打开b站番剧例如紫罗兰第二集：https://www.bilibili.com/bangumi/play/ep173287 打开网址，暂停，别播放（没vip也播放不了） 打开开发者工具，网络（我用的edge）clear 红色右边那个，在点击播放，会产生一堆这种文件 第一个和第三个分别是该视频的图像和音频，双击可以下载，成为m4s文件，合并：2个改成m...
B站排行榜数据可视化案例——python
weixin_46452998的博客
10-31 2708
复刻的一个小案例~~
python爬虫爬取b站排行榜
05-28
好的，下面是爬取B站排行榜的Python爬虫代码： ```python import requests from bs4 import BeautifulSoup # 发送 HTTP 请求 url = 'https://www.bilibili.com/ranking/all/0/0/3' response = requests.get(url) # 解析 HTML soup = BeautifulSoup(response.content, 'html.parser') # 获取排行榜列表 rank_list = soup.find_all('li', class_='rank-item') # 遍历排行榜列表，输出排行榜信息 for rank in rank_list: title = rank.find('a', class_='title').text.strip() # 视频标题 author = rank.find('a', class_='up-name').text.strip() # UP主 play = rank.find('span', class_='data-box').text.strip() # 播放量 print(title, author, play) ``` 以上代码会输出B站排行榜的视频标题、UP主和播放量。你可以根据自己的需求修改代码实现其他功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值