互联网真实业务揭露：短视频篇

youyouiknow

已于 2024-11-10 13:43:54 修改

阅读量1.1k

点赞数 19

分类专栏： system-design-101 文章标签：后端 java 架构音视频分布式

于 2024-11-10 13:26:33 首次发布

本文链接：https://blog.csdn.net/jsjbrdzhh/article/details/143652626

版权

每日系统一设计-短视频篇，只为揭露真实互联网业务的架构逻辑

预告下一篇：拼团篇（拼好饭，拼多多）

如果我要开发一个短视频应用，首先要明确短视频应用的产品需求:

需求

1. 核心功能需求

1. 视频创作与发布
- 支持15秒-3分钟的短视频拍摄
- 提供基础视频编辑功能(剪辑、滤镜、特效、音乐)
- 支持视频封面选择和编辑
- 支持添加话题标签和位置信息
- 支持设置视频公开/私密权限
- 支持草稿箱功能

2. 视频浏览与互动
- 支持上下滑动切换视频
- 支持双击点赞、评论、分享
- 支持视频收藏功能
- 提供"推荐"和"关注"两个内容流
- 支持视频搜索功能
- 支持观看历史记录

3. 社交功能
- 用户关注/粉丝机制
- 私信聊天功能
- 评论回复与互动
- 用户主页个性化
- 内容分享到其他平台

2. 高级功能需求

1. 创作者中心
- 创作者数据分析
- 粉丝画像分析
- 热门话题推荐
- 创作灵感推荐
- 视频数据洞察
- 收益统计与提现

2. 直播功能
- 支持开启直播
- 直播礼物打赏
- 直播互动功能
- 直播回放功能
- PK对战功能
- 直播预约功能

3. 商业化功能
- 短视频带货
- 广告投放系统
- 商家入驻系统
- 达人合作平台
- 数据营销系统
- 商业化数据分析

3. 用户体验需求

智能推荐
基于用户兴趣和行为的个性化推荐
考虑时间、热度、质量等多维度因素
智能防护
未成年人保护
内容分级
时间管理
隐私保护
互动体验
趣味性互动道具
实时互动特效
互动游戏
社交玩法
`

4. 运营需求

 1. 内容运营

    话题活动策划
     活动数据分析
     内容质量管理
     热点话题管理


 2. 用户运营

     用户成长体系
     积分奖励机制
     等级特权系统
     社区荣誉体系


 3. 社区运营

     社区规则制定
     优质内容激励
     违规处理机制
     用户反馈处理

5. 技术需求

1. 性能要求
- 视频加载时间<1秒
- 上传成功率>99.9%
- 服务可用性>99.99%
- CDN覆盖率>95%

2. 安全要求
- 用户数据加密存储
- 防刷防攻击机制
- 内容安全审核
- 版权保护机制

3. 运维要求
- 系统监控告警
- 性能监控分析
- 容量规划
- 灾备方案

6. 数据需求

 1. 用户分析

     用户画像分析
     行为路径分析
     留存率分析
     活跃度分析
 

 2. 内容分析
  内容分类分析
     热度趋势分析
     传播路径分析
     互动效果分析


 3. 运营分析

     活动效果分析
     转化率分析
     ROI分析
     增长指标分析

7. 商业化需求

变现模式

直播打赏
广告变现
电商带货
会员增值服务

商业系统

广告投放平台
商家管理系统
结算系统
数据分析平台

营销功能

活动营销工具
精准投放系统
效果追踪系统
ROI分析系统

8. 合规需求

 1. 内容审核
   人工审核
    AI审核
    实时监控
    用户举报处理


 2. 版权保护

    原创认证
    盗版监控
    维权通道
    版权交易


 3. 合规管理
    实名认证
    未成年保护
    数据合规
    隐私保护

这些需求可以根据实际情况进行调整和扩展。关键是要:

确保核心功能的稳定性和可用性
注重用户体验和产品体验
建立完善的运营体系
实现商业化闭环
保证合规要求
提供数据支持

技术栈及大致实现

这里我将用 Pulsar、Higress、HBase、ClickHouse、MySQL、Redis 和 Spring 等实现一个短视频应用，这里提供一个架构思路和简化的代码示例，并解释每个组件的作用。

架构思路：

视频上传和存储: 用户上传短视频后，使用 Spring Boot 后端接收视频数据。视频数据可以存储在对象存储（例如 Amazon S3（因为我一般是英文环境开发，国外的云服务用的多）, 阿里云 OSS）或分布式文件系统（例如 HDFS, Ceph）中。为了简化，示例代码会将视频路径存储到 MySQL 中。
视频元数据存储: 视频的元数据，例如标题、描述、用户ID、上传时间等，存储在 MySQL 数据库中。
用户数据存储: 用户信息，例如用户名、密码、关注列表等，存储在 MySQL 数据库中。
实时消息传递: 使用 Pulsar 处理视频上传后的异步操作，例如视频转码、推送通知等。
API 网关: 使用 Higress 作为 API 网关，管理 API 访问权限和路由。
实时推荐: 用户行为数据（例如观看记录、点赞、评论等）存储在 HBase 中，使用 ClickHouse 进行实时分析，为用户推荐相关视频。
缓存: 使用 Redis 缓存常用的数据，例如用户信息、视频元数据、推荐结果等，提升访问速度。

简化代码示例 (Spring Boot):

@RestController
public class VideoController {
   

    @Autowired
    private VideoService videoService;

    @PostMapping("/upload")
    public String uploadVideo(@RequestParam("file") MultipartFile file) throws IOException {
   
        String videoPath = videoService.saveVideo(file); // 保存视频到存储，返回视频路径
        // ... 保存视频元数据到 MySQL
        // ... 发送消息到 Pulsar，触发视频转码等操作
        return videoPath;
    }

    @GetMapping("/recommend")
    public List<Video> recommendVideos(@RequestParam("userId") Long userId) {
   
        // ... 从 Redis 获取推荐结果，如果缓存未命中，则从 ClickHouse 查询
        // ... 查询用户行为数据从HBase
        // ... 使用推荐算法生成推荐列表
        // ... 将推荐结果缓存到 Redis
        return videoService.getRecommendedVideos(userId);
    }
}

技术选型说明:

Spring Boot: 构建后端服务的基础框架。
MySQL: 存储视频元数据和用户信息。
Redis: 缓存常用数据，提高访问速度。
Pulsar: 处理异步任务，例如视频转码、推送通知。
Higress: API 网关，管理 API 访问权限和路由。
HBase: 存储用户行为数据，支持高吞吐量的写入和读取。
ClickHouse: 用于实时分析用户行为数据，生成推荐结果。

进一步完善:

视频转码: 集成视频转码服务，将上传的视频转换为不同分辨率的格式。
推送通知: 当用户上传新视频或收到评论和点赞时，推送通知给用户。
搜索功能: 集成搜索引擎，例如 Elasticsearch，提供视频搜索功能。
安全认证: 实现用户认证和授权，保护用户数据和视频内容。
监控和日志: 集成监控和日志系统，监控应用性能和排查问题。

由于一个完整的短视频应用代码量非常大，这里提供一个简化的 Spring Boot 后端示例，演示视频上传和获取推荐视频的功能。这个示例主要关注核心逻辑和技术组件的整合，省略了部分细节，例如数据库建表语句、异常处理、安全认证等。

1. 项目依赖 (pom.xml):

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <