一名合格的音视频开发人员，需要掌握哪些技能呢？音视频技术该怎么学？

在线教育、音视频会议、即时通讯等产品都是基于音视频技术开发，如今越来越多的App中都大量加入了音频、视频元素，比如说注册与登陆的扫脸验证，dou音、wei视的音视频变速、变调录制、实时滤镜、人脸识别特效等，音视频开发技术越来越吃香。

从技术上来说，音视频主要分为两个方向，一个是搞音视频算法，另一个是搞音视频工程。

搞算法的人非常少，需要有很深的数学能力和算法背景。学习成本高，一般小企业不需要也养不起。这类人基本都会去大公司，专注一个领域，轻轻松松年薪百万。

搞工程，需要有扎实的理论基础，很强的技术功底，对音频/视频都非常熟悉。薪资一般也比普通Android开发要高20%左右。

一名合格的音视频开发人员，需要掌握哪些技能呢？音视频技术该怎么学？

1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库；

2、其次，我们需要阅读大量的音视频规范/协议文档（如H264、MP4/FLV、RTP/RTCP等）。这些文档中的内容基本都以位为单位的，每个二进制位的变化都代表不同的含义，涉及到的东西很多。比如APK多渠道打包就要我们了解zip格式中字节数据的意义，这还只是字节，一个字节8位，去分析H.264要更细致到二进制位的数据，信息量就更大了。

3、然后我们就可以学习音视频的基础知识了：RGB、YUV像素数据处理、PCM音频采样、H.264音视频码流解析以及Android平台多媒体相关如：Camera、AudioTrack、OpenGL ES、 OpenSL ES等等；

4、网络编程体系知识点在音视频开发中非常重要！面试中面试官经常会问网络传输音视频数据相关知识。

音视频开发岗位薪资待

各大巨头（如阿里、腾讯、字节跳动等）早在数年前就纷纷在音视频方向上布局，大量投资收购公司，笼络相关技术人才，很多小公司也在寻找音视频人才。一名优秀的音视频开发人员，年薪很容易达到30万-50万。

音视频学习的痛点

说实话，音视频自学起来比较难，主要是因为音视频知识又多又杂，完整的学习资料很少，网上的内容经常会有各种错误，很多初学者学着学着就被带到沟里去了。

a.音视频相关的书籍匮乏
b.网上的demo老跑不起来
c.没有工程级别的项目实战经验
d.实际项目不知如何下手
e.遇到问题不知道如何下手分析

我们该如何学习音视频？需要学习那些内容？

下面是个人整理的关于音视频开发学习的技术知识点

音视频基础知识

• 音视频录制原理
• 音视频播放原理
• 图像RGB/YUV原理
• 视频I/P/B帧
• 物理音频和数字音频f.音频基本概念
• 音频编码原理
• 封装格式概念
• 音视频同步概念

FFMPEG命令

• 命令分类查询
• 视频录制命令
• 多媒体文件的分解/复用命令
• 裁剪与合并命令
• 图片/视频互转命令
• 直播相关命令
• 各种滤镜命令
• 音视频文件提取

SDL音视频渲染

• SDL开发环境搭建
• SDL窗口显示
• SDL事件处理
• SDL线程处理
• YUV视频播放实战
• PCM声音播放

FFMPEG解封装解码

• FLV封装格式剖析
• FLV解封装实战
• MP4封装格式剖析
• MP4解封装实战
• AAC ADTS分析
• 音频解码实战
• H264 NALU分析
• 视频解码实战

FFMPEG编码封装

• 视频编码实战
• 音频编码实战
• 音视频FLV合成实战
• 音视频MP4合成实战
• MP4转FLV实战
• MP4转FLV重编码实战

FFMPEG过滤器

• FFmpeg过滤器框架分析
• 音频过滤器实战
• 视频过滤器实战

播放器实战

• 播放器框架分析
• 音频输出模块
• 视频输出模块
• 音频解码模块
• 视频解码模块
• 音视频同步模块
• 音视频控制

FFPLAY播放器剖析

• 掌握ffplay.c的意义
• ffplay框架分析
• ffplay数据结构
• ffplay音频输出
• ffplay视频输出
• ffplay音视频同步
• ffplay图像格式转换
• ffplay音频重采样
• ffplay播放控制

FFMPEG多媒体转换器剖析

• 掌握ffmpeg.c的意义
• fmpeg框架分析
• 转封装流程分析
• 转码流程分析
• 提取音视频流程分析
• MP4车转FLV实战
• FLV转TS实战
• H264转H265实战
• AAC转MP3实战
• H264提取实战
• AAC提取实战

RTMP流媒体实战

• RTMP框架分析
• RTMP流媒体服务器搭建
• RTMP协议详解
• H264封装e.AAC封装
• RTMP推流实战
• RTMP拉流实战
• RTMP抓包分析

HLS流媒体实战

• HLS框架分析
• HLS流媒体服务器搭建
• HTTP协议分析
• m3u8协议详解
• TS协议解析
• HLS拉流实战
• HLS抓包分析
• hls多码率机制

HTTP-FLV流媒体实战

• HTTP-FLV框架分析
• HTTP-FLV流媒体服务器搭建
• HTTP-FLV拉流实战
• HTTP-FLV抓包分析

SRS流媒体服务器分析

• 整体框架分析
• rtmp拉流分析
• rtmp推流分析
• hls拉流分析
• hls推流分析
• http-flv拉流分析
• http-flv推流分析
• FFmpeg转码分析
• 首屏秒开技术分析
• forward集群源码分析
• edge集群源码分析
• 负载均衡部署方式

RTSP流媒体实战

• HTTP-FLV框架分析
• RTP协议分析
• RTCP协议分析
• RTSP流媒体服务器搭建
• RTSP推流实战
• RTSP拉流实战
• wireshark抓包分析
• RTSP流媒体服务器分析

WEBRTC中级实战

• WebRTC通话原理分析
• WebRTC开发环境搭建
• coturn最佳搭建方法
• 如何采集音视频数据
• 一对—通话时序分析
• 信令服务器设计
• Web一对一通话
• Web和Android通话
• AppRTC快速演示

WEBRTC高级开发

• 自定义摄像头分辨率
• 码率限制
• 调整编码器顺序
• Mesh模型多方通话
• Janus框架分析
• Janus Web客户端源码分析
• Janus Android客户端源码分析
• 基于.Janus实现会议系统
• Janus Windows客户端源码分析
• Janus信令设计k.WebRTC源码编译
• 拥塞控制算法
• FEC
• jitter buffer

Janus服务器源码分析

• 源码结构
• 插件机制
• 线程分析
• 信令交互过程
• videoroom分析
• sdp分析
• rtp分析
• srtp分析
• rtcp分析
• stun分析
• turn分析

项目实战

音视频播放职

1、支持本地播放
2、支持RTMP/HTTP-FLV/HLS等网络播放
3、支持暂停/快进快退/逐帧/变速播放

音视频录屏器

1、支持保存为本地文件
2、支持RTMP推流
3、支持RTSP推流

直播方案

1、结合音视频播放器
2、结合音视频录屏器
3、结合SRS流媒体服务器
4、结合web播放器
5、实现直播方案

支持web、Android客户端——一对一音视频通话

mesh模型多人音视频通话

1、支持web、Android客户端
2、支持P2P模式
3、可以配置最大通话人数
4、包括信令服务器开发

sfu模型多人音视频通话

1、支持web、Android、Windows客户端
2、可以配置最大通话人数
3、包括信令服务器开发
4、包括流媒体服务器开发

最后

在这里我也给大家分享一下音视频流媒体高级开发的学习资料，大家如果需要的话，可以加 音视频开发 学习群960994558 回复 音视频学习资料 领取哦