音视频基础知识

最新推荐文章于 2023-08-16 14:52:09 发布

半岛铁盒.

最新推荐文章于 2023-08-16 14:52:09 发布

阅读量374

点赞数

分类专栏：音视频

本文链接：https://blog.csdn.net/liuxunfei15/article/details/116851331

版权

音视频专栏收录该内容

23 篇文章 4 订阅

订阅专栏

音视频基础知识汇总

1) 音频编码格式：

*MPEG Audio Layer 1/2
*MPEG Audio Layer 3(MP3)
*MPEG2 AAC
*MPEG4 AAC
*Windows Media audeo v1/v2/7/8/9
*RealAudio cook/sipro(real media series)
*RealAudio AAC/AACPlus(real media series)
*QDesign Music 2(apple series)
是QDesign 公司开发的用于高保真高压缩率的编码方式，类似于MP3，不过比MP3要先进。支持流式播放.
*Apple MPEG-4 AAC(apple series)
*ogg(ogg vorbis音频)
*AC3(DVD 专用音频编码)
*DTS(DVD 专用音频编码)
*APE(monkey’s 音频)
*AU(sun 格式)
*FLAC(fress lossless 音频)
*M4A(mpeg-4音频)（苹果改用的名字，可以改成.mp4）
*MP2(mpeg audio layer2音频)
*WMA

2) 视频编码格式：

*MPEG1(VCD)
*MPEG2(DVD)
*MPEG4(divx,xvid)
*MPEG4 AVC/h.264
*h.261
*h.262
*h.263
*h.263+
*h.263++
*MPEG-4 v1/v2/v3(微软windows media系列)
*Windows Media Video 7/8/9/10
*Sorenson Video 3（用于QT5，成标准了）(apple series)
*RealVideo G2(real media series)
*RealVideo 8/9/10(real media series)
*Apple MPEG-4(apple series)
*Apple H.264(apple series)
*flash video

3）文件名标识音频编码格式：

*.aac
音频编码：aac
*.ac3
音频编码：ac3
*.ape
*.au
音频编码：pcm_s16be
*.m4a
音频编码：mpeg4 aac
*.mp2
*.mp3
*.ogg
音频编码：vorbis
*.wav
音频编码：pcm_s16le
*.flav
*.wma
音频编码：wma7x

4）文件名标识音视频编码的格式：

1．*.MP4 (MP4 MPEG-4视频)
视频编码：mpeg4
音频编码：mpeg4 aac
２．*.3gp (3GPP 第三代合作项目)
视频编码：mpeg4
音频编码：amr_nb((mono, 8000 Hz, Sample Depth 16 bit,bitrate 12 kbps)
３．*.3g2 (3GPP 第三代合作项目2)
视频编码：mpeg4
音频编码：mpeg4 aac
4．*.asf (ASF 高级流格式)
视频编码：msmpeg4
音频编码：mp3
5．*.avi（AVI 音视频交错格式）
视频编码：mpeg4
音频编码：pcm_s161e
6．*.avi （divx 影片）
视频编码：mpeg4
音频编码：mp3
7．*.avi（xvid 视频）
视频编码：Xvid
音频编码：mp3
8．*.vob （DVD）
视频编码：mpeg2 video
音频编码：ac3
9．*.flv (flash 视频格式)
视频编码：
音频编码：mp3
10．*.mp4(iPod 320*240 MPEG-4 视频格式)
视频编码：mpeg4
音频编码：mpeg4 aac
11．*.mp4(iPod video2 640*480 MPEG-4 视频格式)
视频编码：mpeg4
音频编码：mpeg4 aac
12．*.mov (MOV 苹果quicktime 格式)
视频编码：mpeg4_qt
音频编码：mpeg4 aac_qt
13．*.mpg （mpeg1影片）
视频编码：mpeg1 video
音频编码：mp2
14．*.mpg （mpeg2 影片）
视频编码：mpeg2 video
音频编码：mp2
15．*.mp4（mpeg4 avc 视频格式）
视频编码：h.264
音频编码：mpeg4 aac
16．*.mp4 （PSP mpeg4 影片）
视频编码：Xvid
音频编码：mpeg4 aac
17．*.mp4 （PSP AVC 视频格式）
视频编码：h.264
音频编码：mpeg4 aac
18．*.rm （RM realvideo）
视频编码：rv10
音频编码：ac3
19．*.mpg (超级VCD)
视频编码：mpeg2 video
音频编码：mp2
20．*.swf (SWF 格式)
视频编码：
音频编码：mp3
21．*.mpg （video CD 格式）
视频编码：mpeg1 video
音频编码：mp2
22．*.vob （mpeg2 ps格式）
视频编码：mpeg2 video
音频编码：ac3
23．*.wmv（windows 视频格式）
视频编码：wmv3x
音频编码：wma7x

5）音视频播放流程图：

解协议-》解封装-》解码-》视音频同步播放

6) ffmpeg常用接口：

1. avcodec_register_all() 初始化组件:

- 注册硬件加速器：REGISTER_HWACCEL()

- 注册音视频编码器：REGISTER_ENCODER()

- 注册音视频解码器：REGISTER_DECODER()

- 打包注册：REGISTER_ENCDEC()

- 注册解析器：REGISTER_PARSER()

- 注册复用器：REGISTER_MUXER()

- 注册解复用器：REGISTER_DEMUXER()

- 打包注册：REGISTER_MUXDEMUX()

2. avformat_open_input 打开媒体数据

3. avformat_find_stream_info 获取流媒体信息

4. av_frame_alloc 分配AVFrame并将其字段设置为默认值

5. get_stream_idx获取媒体数据通道

6. av_read_frame 获取帧数据

7. avcodec_decode_audio4 解码音频文件为pcm格式

8. av_samples_get_buffer_size 计算解码后的音频要占用的大小

9. av_sample_fmt_is_planar 判断是否是多声道

10. av_get_bytes_per_sample 获取每一帧样本的字节数

音视频提取音频api调用流程：

7）rtmp 和rtsp协议简介：

RTSP：Real Time Streaming Protocol（实时流传输协议）

RTMP：Real Time Messaging Protocol（实时消息传输协议）

http rtsp rtmp共同点:
1：RTSP RTMP HTTP都是在应用应用层。
2：理论上RTSP RTMPHTTP都可以做直播和点播，但一般做直播用RTSP RTMP，做点播用HTTP。做视频会议的时候原来用SIP协议，现在基本上被RTMP协议取代了。

区别：

1：HTTP将所有的数据作为文件做处理。http协议不是流媒体协议。
RTMP和RTSP协议是流媒体协议。

2：RTMP协议是Adobe的私有协议,未完全公开，RTSP协议和HTTP协议是共有协议，并有专门机构做维护。

3：RTMP协议一般传输的是flv，f4v格式流，RTSP协议一般传输的是ts,mp4格式的流。HTTP没有特定的流。

4：RTSP传输一般需要2-3个通道，命令和数据通道分离，HTTP和RTMP一般在TCP一个通道上传输命令和数据。
RTSP实时流协议作为一个应用层协议，RTSP提供了一个可供扩展的框架，它的意义在于使得实时流媒体数据的受控和点播变得可能。总的说来，RTSP是一个流媒体表示协议，主要用来控制具有实时特性的数据发送，但它本身并不传输数据，而是必须依赖于下层传输协议所提供的某些服务。RTSP可以对流媒体提供诸如播放、暂停、快进等操作，它负责定义具体的控制消息、操作方法、状态码等

简单的rtsp交互过程：