建立Bilibili排行榜信息 JAVA

最新推荐文章于 2024-06-14 15:02:13 发布
最新推荐文章于 2024-06-14 15:02:13 发布
阅读量218 收藏
点赞数
分类专栏： JAVA 文章标签： java mysql spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43638033/article/details/120578130
版权

建立Bilibili排行榜信息

  • 建立数据库

    • image-20210930210133264

    • 导出的语句

      SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for bilibilirank
-- ----------------------------
DROP TABLE IF EXISTS `bilibilirank`;
CREATE TABLE `bilibilirank`  (
  `id` int(0) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `rid` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '分区类型',
  `aid` varchar(15) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT 'aid',
  `bvid` varchar(15) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT 'bid',
  `typename` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '分区名字',
  `title` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '视频标题',
  `play` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '播放量',
  `review` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '评论量',
  `favoritea` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '收藏量',
  `author` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '作者',
  `description` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '简介',
  `create` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '上传时间',
  `pic` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL COMMENT '封面链接',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_bin ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

  • 通过mybatis-plus逆向生成实体类

    • 默认 均会使用代码构造器和mysql

    • 生成效果如下

    • image-20210930212043923

  • 调整代码

    • Controller层设置为Springboot的测试类 执行主要方法（下面是测试代码）

    • package edu.sdut.bilibili.controller;


import edu.sdut.bilibili.service.impl.BilibilirankServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

/**
 * <p>
 *  bilibiliRank排行榜 主控制类
 * </p>
 *
 * @author qingyun
 * @since 2021-09-30
 */
@SpringBootTest
public class BilibilirankController {

    @Autowired
    BilibilirankServiceImpl bilibilirankService;

    @Test
    public void testInset(){
        bilibilirankService.Insert();
    }
}

    • Service

    • package edu.sdut.bilibili.service.impl;

import edu.sdut.bilibili.entity.Bilibilirank;
import edu.sdut.bilibili.mapper.BilibilirankMapper;
import edu.sdut.bilibili.service.IBilibilirankService;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.sql.DataSource;

/**
 * <p>
 *  服务实现类
 * </p>
 *
 * @author qingyun
 * @since 2021-09-30
 */
@Service
public class BilibilirankServiceImpl extends ServiceImpl<BilibilirankMapper, Bilibilirank> implements IBilibilirankService {

    @Autowired
    BilibilirankMapper bilibilirankMapper;

    public void Insert() {
        Bilibilirank bilibilirank = new Bilibilirank();
        bilibilirank.setAid("1");
        bilibilirankMapper.insert(bilibilirank);
    }
}

      修改主要逻辑代码

      package edu.sdut.bilibili.controller;


import edu.sdut.bilibili.entity.Bilibilirank;
import edu.sdut.bilibili.service.impl.BilibilirankServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.List;

/**
 * <p>
 *  bilibiliRank排行榜 主控制类
 * </p>
 *
 * @author qingyun
 * @since 2021-09-30
 */
@SpringBootTest
public class BilibilirankController {

    @Autowired
    BilibilirankServiceImpl bilibilirankService;

    @Test
    public void GetListBiliBiliRanks() {
        //获取所有的排行榜信息
        List<Bilibilirank> biliBiliRank = bilibilirankService.getBiliBiliRank();
        System.out.println(biliBiliRank);
    }
}


      package edu.sdut.bilibili.service.impl;

import cn.hutool.json.JSONArray;
import cn.hutool.json.JSONObject;
import cn.hutool.json.JSONUtil;
import com.github.kevinsawicki.http.HttpRequest;
import edu.sdut.bilibili.entity.Bilibilirank;
import edu.sdut.bilibili.mapper.BilibilirankMapper;
import edu.sdut.bilibili.service.IBilibilirankService;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import jdk.nashorn.internal.ir.IfNode;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.sql.DataSource;
import java.util.ArrayList;
import java.util.List;

/**
 * <p>
 *  服务实现类
 * </p>
 *
 * @author qingyun
 * @since 2021-09-30
 */
@Service
public class BilibilirankServiceImpl extends ServiceImpl<BilibilirankMapper, Bilibilirank> implements IBilibilirankService {
    @Autowired
    BilibilirankMapper bilibilirankMapper;

    @Override
    public List<Bilibilirank> getBiliBiliRank() {
        int low = 300; int row = 10;
        List<Bilibilirank> BiliBiliRankS = new ArrayList<>();
        for (int i = 1; i < low; i++) {
//            数据主体
            String InfoBody = HttpRequest.get("http://api.bilibili.com/x/web-interface/ranking/region?rid=" + i).body();
            JSONObject BiliBiliInfoBody = JSONUtil.parseObj(InfoBody);
            //有请求信息
            if (BiliBiliInfoBody.getInt("code")==0){
                //获取data
                JSONArray data = BiliBiliInfoBody.getJSONArray("data");
                for (int j = 0; j < row; j++) {
                    //建立 bilibilirank
                    Bilibilirank bilibilirank = new Bilibilirank();
                    JSONObject rows = data.getJSONObject(j);
                    if (rows == null){
                       continue;
                    }
                    bilibilirank.setRid(Integer.toString(j));
                    bilibilirank.setAid(rows.getStr("aid"));
                    bilibilirank.setBvid(rows.getStr("bvid"));
                    bilibilirank.setTypename(rows.getStr("typename"));
                    bilibilirank.setTitle(rows.getStr("title"));
                    bilibilirank.setPlay(rows.getStr("play"));
                    bilibilirank.setReview(rows.getStr("review"));
                    bilibilirank.setFavoritea(rows.getStr("favorite"));
                    bilibilirank.setAuthor(rows.getStr("author"));
                    bilibilirank.setDescription(rows.getStr("description"));
                    bilibilirank.setCreate(rows.getStr("create"));
                    bilibilirank.setPic(rows.getStr("pic"));
                    BiliBiliRankS.add(bilibilirank);
                }
            }

        }
        return BiliBiliRankS;
    }
}

      效果如下

    • image-20211001132050684

      下面进行插入数据库操作，使用mybatis-plus的批量插入操作

      注：直接提供的批量插入并不是真的批量插入。读者请自行查找真正的批量插入

      package edu.sdut.bilibili.controller;

import edu.sdut.bilibili.entity.Bilibilirank;
import edu.sdut.bilibili.service.impl.BilibilirankServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.List;

/**
 * <p>
 * bilibiliRank排行榜 主控制类
 * </p>
 * @author qingyun
 * @since 2021-09-30
 */
@SpringBootTest
public class BilibilirankController {

    @Autowired
    BilibilirankServiceImpl bilibilirankService;

    @Test
    public void GetListBiliBiliRanks() {
        List<Bilibilirank> biliBiliRanks = bilibilirankService.getBiliBiliRank();
        bilibilirankService.instertBiliBili(biliBiliRanks);
        System.out.println("插入完成");
    }
}


      package edu.sdut.bilibili.service.impl;

import cn.hutool.json.JSONArray;
import cn.hutool.json.JSONObject;
import cn.hutool.json.JSONUtil;
import com.github.kevinsawicki.http.HttpRequest;
import edu.sdut.bilibili.entity.Bilibilirank;
import edu.sdut.bilibili.mapper.BilibilirankMapper;
import edu.sdut.bilibili.service.IBilibilirankService;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import jdk.nashorn.internal.ir.IfNode;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.sql.DataSource;
import java.util.ArrayList;
import java.util.List;

/**
 * <p>
 *  服务实现类
 * </p>
 *
 * @author qingyun
 * @since 2021-09-30
 */
@Service
public class BilibilirankServiceImpl extends ServiceImpl<BilibilirankMapper, Bilibilirank> implements IBilibilirankService {
    @Autowired
    BilibilirankMapper bilibilirankMapper;

    @Override
    public List<Bilibilirank> getBiliBiliRank() {
        int low = 300; int row = 10;
        List<Bilibilirank> BiliBiliRankS = new ArrayList<>();
        for (int i = 1; i < low; i++) {
//            数据主体
            String InfoBody = HttpRequest.get("http://api.bilibili.com/x/web-interface/ranking/region?rid=" + i).body();
            JSONObject BiliBiliInfoBody = JSONUtil.parseObj(InfoBody);
            //有请求信息
            if (BiliBiliInfoBody.getInt("code")==0){
                //获取data
                JSONArray data = BiliBiliInfoBody.getJSONArray("data");
                for (int j = 0; j < row; j++) {
                    //建立 bilibilirank
                    Bilibilirank bilibilirank = new Bilibilirank();
                    JSONObject rows = data.getJSONObject(j);
                    if (rows == null){
                       continue;
                    }
                    bilibilirank.setRid(Integer.toString(j));
                    bilibilirank.setAid(rows.getStr("aid"));
                    bilibilirank.setBvid(rows.getStr("bvid"));
                    bilibilirank.setTypename(rows.getStr("typename"));
                    bilibilirank.setTitle(rows.getStr("title"));
                    bilibilirank.setPlay(rows.getStr("play"));
                    bilibilirank.setReview(rows.getStr("review"));
                    bilibilirank.setFavoritea(rows.getStr("favorites"));
                    bilibilirank.setAuthor(rows.getStr("author"));
                    bilibilirank.setDescription(rows.getStr("description"));
//                bilibilirank.setCreate(rows.getStr("create"));
                    bilibilirank.setPic(rows.getStr("pic"));
                    BiliBiliRankS.add(bilibilirank);
                }
            }

        }
        return BiliBiliRankS;
    }


    /**
     * 添加实体类信息置入数据库
     */
    public void instertBiliBili(List<Bilibilirank> biliBiliRanks){
        for (Bilibilirank biliBiliRank : biliBiliRanks) {
            try{
                bilibilirankMapper.insert(biliBiliRank);
            }catch (Exception e){
                e.printStackTrace();
            }

        }
//        bilibilirankMapper.insertBatchSomeColumn(biliBiliRanks);
    }
}

image-20211001152759709

梦醒三叹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬取bilibili排行榜数据并写入excel
lby666888的博客
11-16 1331
在接口https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all中，哔哩哔哩给出了即时的排名前100位的视频信息，如图所示 在当前还是可以访问的，这个接口。对100条视频进行获取和转换到excel中如下，对pandas库稍有理解的读者即可明白， import pandas as pd import json import requests r = requests.get("https://api.bilibili.com
【Python简单爬虫练习--Bilibili榜单】爬取+梳理B站排行榜页面
weixin_45575017的博客
03-15 2031
如题，B站老铁爬来玩玩～～～ 思路： Reuqests.get取得网页元素 BeautifulSoup清洗，梳理出框架 输出存为csv文件 各模块的代码： 1： from requests import * from bs4 import * from re import * def geturl(url): try: pg = get(url) ...
Java 爬取BiliBili追番排行榜
小咸鱼
10-02 1852
看了標哥（代码忘烦恼）两篇爬虫博客，自己也跟着学了一下，几乎就是在上面进行的改动。 写的简单易懂： Java爬虫 java爬取前程无忧(51job) 准备工作： 创建一个普通maven工程 pom依赖 <dependencies> <dependency> <groupId>org.apache.httpcomponents</g...
01从零开始学Java之为什么选择学Java？
一一哥
03-07 497
如果你用心搜索过近20年不同行业的薪资排行榜，你就会发现，IT行业的薪酬排名在这20年间几乎都是在前3名之内！所以这也就导致了国内几乎每一所大中专院校都开设了计算机相关专业，但计算机尤其是软件编程的人才缺口依然很大，从而推动软件行业的薪资依然屡创新高。 而随着未来社会的进一步发展和智能化的普及，更是需要大量的软件项目来满足人类的智能化和便捷化需求。试问，这些大量的软件项目由谁来开发？毫无疑问！那就是程序员呗！正是这些程序员通过编程实现了我们日常生活中见到的各种软件项目，丰富和便利了我们的生活，所以请大家为这
后端Java开发岗社招面经（B站一面）答案分析分享
jjc4261的博客
03-16 729
写这篇主要是想复盘一下我的两次面试经历，一个是B站的后端开发岗，另一个是百度的搜索研发。文章涵盖了MySQL、Golang、 计算机网络、Elasticsearch、 分布式、搜索的一些知识。作者：郁南1.你之前是负责搜索的，那我想听一下你们搜索系统的大致流程说实在还挺惊讶面试官会问这个的，因为对方是一个后端工程师，所以就没讲多细致，答得很general，大体来说就是，query分析->粗排召回->精排算特征-> learning to rank计算score ->返回结果，每个再展开来说一些即可。
JAVA学习路书-2024年最新版
qq_43896330的博客
05-29 926
首先，我们要认识到，这几年就业形式确实是不太好，到处都是“Java卷爆了”的言论。对于这些言论，要分为两个部分一方面，确实现在的就业形式比较严峻，因此对于我们的要求已经大大提高。作为一名Java开发者，不仅需要掌握扎实的基础知识，还需要熟悉各种框架和工具，并具备解决复杂问题的能力，所以我们要做好长时间学习的准备。另一方面，现在Java仍然是需求量最大的编程语言。根据各种招聘网站的数据统计，Java相关的职位需求量始终位居前列。
JAVA面试集锦（一）
TPH_BETTER.的博客
04-23 785
CopyOnWriteArrayList的底层原理是怎样的 ⾸先CopyOnWriteArrayList内部也是⽤过数组来实现的，在向CopyOnWriteArrayList添加元素 时，会复制⼀个新的数组，写操作在新数组上进⾏，读操作在原数组上进⾏ 并且，写操作会加锁，防⽌出现并发写⼊丢失数据的问题 写操作结束之后会把原数组指向新数组 CopyOnWriteArrayList允许在写操作时来读取数据，⼤⼤提⾼了读的性能，因此适合读多写少的应 ⽤场景，但是CopyOnWriteArrayList会⽐较占内
java笔记整理
weixin_42615335的博客
10-20 1157
目前比较流行的java技术整理
bilibili排行榜数据可视化项目.zip
04-26
Python可视化项目案例
Bilibili排行榜-爬虫和数据分析实战.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
丛九九微信小程序demo实战教程：Bilibili排行榜
03-29
然后做了个小的demo，实现了查看B站排行榜的功能。 项目地址 https://github.com/congjiujiu/bilibiliRank 由于没有appid，所以没法在微信里面预览。可以clone到本地然后在微信web开发工具里面看到项目。 git clone...
bilibili排行榜+播放（简陋版）
10-28
我自己做的b站简陋版，只做了排行榜和视频播放，只有第一个做了链接进行跳转进行播放，只放了一个可以播放视频的链接
【仿真建模-anylogic】FlowchartPort原理解析
zhaoyaxuan001的博客
06-14 329
FlowchartPort是流图组件端口的基类，一般不会直接使用；如果需要自行封装组件库时会用到；FlowchartPort继承Port类，并定义了一系列抽象函数；用于输入端口判定此刻是否不能接收Agent。用于输出端口判定是否有Agent准备离开。判定端口是否发生错误。
【Java02】Java中数组的定义与初始化
饮冰室
06-10 605
推荐第一种方式。这种方式容易让人理解，数据类型是type[]，对象名称是arrayName。第二种方式有些老旧了。由于数组是一种引用变量（也就是一个指针），所以定义的时候还没有指向任何有效的内存空间，因此在定义数组的时候不能指定数组的长度，也不能直接使用。必须进行初始化。可以使用var让系统自动推断变量类型，既可以用于静态初始化，也可以用于动态初始化。
盲盒App开发时有哪些技术框架可以借鉴
最新发布
bytekj的博客
06-14 552
在开发盲盒App时，可以根据项目需求和团队技术栈选择合适的技术框架。前端可以选择微信小程序框架、React Native或Vue.js等；后端可以选择Node.js或Spring Boot等；数据库可以选择MySQL或MongoDB等。同时，还需要考虑缓存、消息队列、支付和物流接口等其他技术来完善应用的功能和性能。
【2024最新华为OD-C/D卷试题汇总】[支持在线评测] CPU算力分配(100分) - 三语言AC题解(Python/Java/Cpp)
清隆学长的博客
06-11 415
### 问题描述 K小姐是某公司运营部门的主管,最近她需要对公司的两组服务器进行算力分配。每组服务器有多个算力不同的 $CPU$,其中 $A$ 组第 $i$ 个 $CPU$ 的运算能力为 $A[i]$,而 $B$ 组第 $i$ 个 $CPU$ 的运算能力为 $B[i]$。一组服务器的总算力是各 $CPU$ 的算力之和。 为了让两组服务器的算力相等,K小姐允许从每组各选出一个 $CPU$ 进行一次交换。她希望从 $A$ 组服务器中选出算力尽可能小的 $CPU$ 来交换,你能帮她计算出应该选择哪两个 $CP
爬取bilibili排行榜
07-28
爬取bilibili排行榜的过程可以分为三个步骤。首先，需要获取网页的HTML代码。在这个例子中，使用的是Pycharm编译器对哔哩哔哩网站的综合热榜的排行进行爬取。\[1\]其次，需要对获取到的HTML代码进行分析，使用正则...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值