音视频开发技术的进阶路线

【音视频流媒体技术】 专栏收录该内容
9 篇文章 1 订阅

1. 音视频开发包括哪些内容

虽然一篇文章无法把音视频开发的知识点都介绍清楚,但是大概的学习路线还是可以梳理一下的,我们先看看下面这张图:

                       

其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

  • 采集:它解决的是,数据从哪里来的问题
  • 渲染:它解决的是,数据怎么展现的问题
  • 处理:它解决的是,数据怎么加工的问题
  • 传输:它解决的是,数据怎么共享的问题

每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲染画面、如何提高音视频的压缩比,如何优化弱网下的音视频数据传输等等。

其实,音视频开发的技术积累,也没有那么难,带着问题去 Google,带着任务去实践,一切都不是问题,我们就从上面说的 4 个方向,逐个探索一下,有哪些知识点,是要我们去了解和掌握的。

 2.1 采集

采集,它解决的是,数据从哪里来的问题,那么,数据究竟从哪里来的呢 ?

                                       

其实无论在哪个平台,图像、视频最初都是来自摄像头,而音频最初都是来自麦克风,因此,做音视频采集,就要掌握如下的技术知识:

1. 系统的摄像头采集接口是什么,怎么用 ?
比如:
Windows:DirectShow
Linux:V4L2
Android:Camera
iOS:AVCaptureSession

2. 系统的摄像头采集的参数怎么配置,都是什么含义 ?
比如:分辨率、帧率、预览方向、对焦、闪光灯 等

3.  系统的摄像头输出的图像/视频数据,是什么格式,不同格式有什么区别 ?
比如:图片:JPEG,视频数据:NV21,NV12,I420 等

4. 系统的麦克风采集接口是什么,怎么用 
比如:
Windows:DirectShow
Linux:ALSA & OSS
Android:AudioRecord
iOS:Audio Unit

5.  系统的麦克风采集参数怎么配置,都是什么含义 ?
比如:采样率,通道号,位宽 等

6.  系统的麦克风输出的音频数据,是什么格式?
比如:PCM

2.2 渲染

渲染,它解决的是,数据怎么展现的问题,那么,数据究竟怎么展现呢 ?

            

其实无论在哪个平台,图像、视频最终都是要绘制到视图上面,而音频最终都是要输出到扬声器,因此,做音视频渲染,就要掌握如下的技术知识:

1. 系统提供了哪些 API  可以绘制一张图片或者一帧 YUV 图像数据的 ?
比如:
Windows:DirectDraw, Direct3D, GDI,OpenGL 等
Linux: GDI, OpenGL 等
Android:ImageView,SurfaceView,TextureView,OpenGL 等
iOS: CoreGraphics,OpenGL 等

2.  系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 
比如:
Windows:DirectSound 等
Linux:ALSA & OSS 等
Android:AudioTrack 等
iOS: AudioQueue 等

2.3 处理

处理,它解决的是,数据怎么加工的问题,那么,数据究竟可以怎么加工呢 ?

首先,我们看看图像/音视频的数据可以做哪些加工 ?

              

其实无论在哪个平台,图像和音视频的加工,除了系统的 API,大多数都会依赖一些跨平台的第三方库的,通过掌握这些第三方库的原理和使用方法,基本上就可以满足日常音视频处理工作了,这些库包括但不限于:

1. 图像处理:OpenGL,OpenCV,libyuv,ffmpeg 等
2.视频编解码:x264,OpenH264,ffmpeg 等
3.音频处理:speexdsp,ffmpeg 等
4.音频编解码:libfaac,opus,speex,ffmpeg 等

因此,学习和掌握这些第三方库的使用,非常有必要。

2.4 传输

传输,它解决的是,数据怎么共享的问题,那么,数据究竟怎么共享呢 ?

共享,最重要的一点,就是协议。

互联网之所以能够如此蓬勃地发展,将整个世界都紧密联系在一起,其实是离不开 W3C 这个委员会的巨大贡献的,因为无论什么数据,要想在不同的国家、不同设备之间互联互通,离不开 “标准”,有了 “标准”,大家就能互相读懂对方。

因此,研究音视频传输,其实就是在研究协议,具体有哪些协议呢 ?

1. 音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等
2. 直播推流,有哪些常见的协议,如:RTMP,RSTP 等
3. 直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等
4. 基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等

互联网环境下的音视频的传输,是一个非常有挑战和价值的方向,为了解决弱网下的传输延时、卡顿,提高用户体验,整个业界都在不断地进行着深入的探索和优化。

3.小结

音视频的路很长,更多的还是要靠自己去学习和实践,带着追求极致的精神去探索和优化,最终,大家都能快速成长,成为真正的行业专家!

 

 

  • 4
    点赞
  • 1
    评论
  • 6
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值