音视频知识--[总纲]

音视频开发

0、音视频概述

主要是对音视频相关知识的概述

1、音频处理

1.音频数字信号处理

包括采样、量化、数字滤波、傅里叶变换等基本操作。

2.音效处理

包括混响、均衡器、压缩、限制器、失真、延迟等效果的处理。

3.音频编解码

包括音频编码和音频解码，将模拟音频信号转换为数字音频信号，再将数字音频信号压缩编码，以减少传输和存储所需的带宽和空间。

主要包括MP3、AAC、AC-3、FLAC、ALAC等音频编码和解码标准。

4.语音识别

使用数字信号处理和模式匹配等技术，将语音信号转换为可识别的文字。

5.声音分析

用于分析音频信号的频率、强度、波形等特性，常用于音频处理、人声识别等领域。

6.音频增强

包括噪声抑制、语音增强、音频降噪等技术，通过滤波、预测和模型等手段，以提高音频信号的质量和清晰度。

7.音频合成

使用数字信号处理、合成器等技术，合成人工合成的音频信号，如合成音乐、合成话音等。

2、视频处理

1.视频数字信号处理

包括采样、量化、数字滤波、傅里叶变换等基本操作。

2.图像处理

包括缩放、降噪、去除伪影、边缘增强、色彩调整等技术，以改善视频信号的质量。

3.视频编解码

包括视频编码和视频解码，将模拟视频信号转换为数字视频信号，再将数字视频信号压缩编码，以减少传输和存储所需的带宽和空间。

主要包括H.264、H.265、MPEG-2、VP9、AV1等视频编码和解码标准。

4.视频特效

包括字幕、水印、图像叠加、场景转换等技术，以增加视频的表现力和吸引力。

5.视频增强

包括去噪、去抖、超分辨率、去除摩尔纹、自适应亮度等技术，以提高视频信号的质量和清晰度。

6.视频分析

用于分析视频信号的帧率、分辨率、色彩空间、图像质量等特性，常用于视频处理、视频监控等领域。

7.视频合成

使用数字信号处理、合成器等技术，合成人工合成的视频信号，如合成电影特效、合成虚拟现实场景等。

3、编解码

1.图像编解码

主要包括JPEG、PNG、BMP、GIF等图像编码和解码标准。

2.文字编解码

主要包括UNICODE、ASCII、UTF-8等文字编码和解码标准。

3.压缩算法

主要包括无损压缩算法和有损压缩算法，如ZIP、RAR、GZIP、LZO、LZ4等无损压缩算法，以及JPEG、H.264、MP3等有损压缩算法。

4.码流封装

将编解码后的音视频数据流，以特定的方式进行封装，如MP4、FLV、TS、MKV等封装格式。

4、流媒体

1.流媒体协议

主要包括RTMP、HLS、DASH等协议，用于音视频数据的传输协议规定。

2.流媒体传输

包括点对点传输、CDN加速、智能路由等技术，以提高音视频数据的传输效率和稳定性。

3.音视频同步

主要应用在视频会议、直播、实时监控等领域，以实现音视频数据的即时传输和播放。

4.视频点播

包括基于流媒体协议的视频点播，以及基于HTTP协议的视频点播，以提供更高效、稳定和灵活的视频点播服务。

5.实时字幕

在直播等场景中使用，可以实时为视频添加字幕，以提高用户体验。

6.视频转码

将不同格式、不同分辨率、不同码率的视频转换为统一的格式，以适应不同设备和传输环境的需求。

7.流媒体服务器

5、传输协议

1.RTP（Real-time Transport Protocol）

用于实时音视频数据的传输，提供时间戳、序列号等信息，以保证音视频数据的实时性和准确性。

2.RTCP（Real-time Transport Control Protocol）

用于音视频数据传输的控制，提供传输质量反馈和控制信息，以优化音视频数据传输的效率和质量。

3.RTSP（Real-time Streaming Protocol）

用于流媒体传输的协议，支持实时流媒体和点播，提供流媒体的控制和管理功能。

4.RTMP（Real-Time Messaging Protocol）

是一种用于流媒体传输的协议，常用于视频直播、点播等场景。

5.HTTP（Hypertext Transfer Protocol）

用于数据传输的协议，支持流式传输和分块传输，适用于点播等场景。

6.HTTPS（Hypertext Transfer Protocol Secure）

使用SSL/TLS加密的HTTP协议，提供更高的安全性，适用于在线支付等安全要求较高的场景。

7.FTP（File Transfer Protocol）

用于文件传输的协议，支持断点续传和管理，适用于大文件传输和数据备份等场景。

8.SIP（Session Initiation Protocol）

SIP协议可以用来控制多种类型的会话，例如语音、视频、即时消息等。

6、项目板块

1.FFmpeg

一款开源的音视频处理工具，支持多种编解码器和协议，可以进行音视频转码、剪辑、合并等操作。

2.WebRTC

一款开源的实时通信技术，支持音视频传输和交互式应用程序。

3.PJSIP

是一款基于SIP协议的开源VoIP协议栈，它提供了一套用于实现VoIP应用程序的API，并可以在多个平台上使用。

4.OpenCV

一款开源的计算机视觉库，支持多种图像和视频处理算法，可以进行图像处理、目标检测、人脸识别等操作。

5.VLC

一款开源的媒体播放器，支持多种视频和音频格式，还支持流媒体播放和转码。

6.SRS

一款基于Nginx开发的开源媒体服务器软件，支持RTMP、HLS、HTTP-FLV等多种协议，可以用于实时音视频流媒体服务。

7.osip and eXosip

osip是一个基于SIP协议的开源库，提供了SIP协议的基本功能，包括SIP消息的解析、构造、发送和接收等。

eXosip是在osip基础上进行扩展的开源库，提供了更强大的SIP协议开发功能，包括SIP用户代理、SIP代理服务器、SIP消息路由、SIP状态机等。

8.FreeSWITCH

是一款开源的软交换平台，支持多种语音、视频协议和编解码器，例如SIP、H.323、WebRTC、RTP、RTCP、G.711、H.264等。

9.ijkplayer

一个基于FFmpeg和Android MediaPlayer的轻量级、高可定制化的开源播放器框架。

10.ZLMediaKit

一款基于C++11开发的开源流媒体服务框架，支持多种音视频协议和格式，例如RTMP、RTSP、HTTP-FLV、HLS等。

11.QMPlay2

是一个开源的跨平台多媒体播放器，支持多种音视频格式和协议，例如MP4、AVI、MKV、FLV、HLS等。

12.EasyDarwin

是一个基于RTSP/RTP协议的流媒体服务器，可以实现音视频实时传输和流媒体服务。

13.nginx-rtmp-module

是一个基于Nginx的第三方模块，用于实现RTMP协议的流媒体服务。

14.kamailio

是一款开源的SIP服务器，可以用于构建VoIP和即时通讯应用。

15.Opensips

是一款开源的SIP服务器，可以用于构建VoIP和即时通讯应用。

16.GStreamer

一款开源的多媒体框架，支持多种音视频编解码器和协议，可以进行音视频的采集、处理、传输和播放等操作。

17.LibAV

一款开源的音视频处理库，支持多种编解码器和协议，可以进行音视频转码、剪辑、合并等操作。

18.Blender

一款开源的3D动画软件，支持多种3D建模、动画和渲染功能。

19.Live555

是一个开源的多媒体流媒体服务器框架，支持RTSP、RTCP、RTP、RTMP、HLS等多种流媒体协议，并提供了音视频编解码、网络传输、流控制等核心功能。

7、使用工具

1.MediaInfo

它可以识别并显示有关媒体文件的有关元数据，包括编码格式、分辨率、帧速率、音频编码、字幕、章节等等。

2.Wireshark

可以通过捕获网络接口上的实时数据包，或者通过读取存档文件来分析网络流量。

3.tcpdump

它可以在网络接口上捕获数据包并将其记录到文件中，以便用户进行进一步的分析和诊断。

4.Elecard StreamEye Tools

是一款专业的视频分析和监测软件，可以实时分析和监控视频流的质量和性能。

5.VLC media player

是一款免费、开源、跨平台的多媒体播放器，支持多种音频和视频格式，包括MPEG-1、MPEG-2、MPEG-4、DivX、MP3、Ogg等。

6.FFmpeg tool

是一款开源的跨平台多媒体处理工具，可以用于音频和视频的录制、转换、处理、流媒体传输等多种任务。

7.雷神开发的工具

BCompare是一款比较和合并文件的工具，可以比较文本、图像、二进制文件等。

NetworkTrafficView是一款网络流量监控工具，可以帮助用户实时监控网络流量，并提供详细的统计数据。

8.CodecVisa

是一款强大的音视频解码器分析工具，它可以帮助用户深入分析音视频解码器的性能和工作原理。

9.Cool Edit Pro 2

是一款音频编辑软件，可以用于音频录制、剪辑、编辑、混音和制作等多种音频处理任务。

10.OBS Studio

一款开源的音视频录制和直播软件，支持多种编码器和推流协议。

11.Adobe Premiere Pro

一款专业的视频编辑软件，功能强大，支持多种视频格式和特效。

12.Final Cut Pro

苹果公司开发的一款视频编辑软件，适用于Mac系统，支持多种视频格式和特效。

13.HandBrake

一款开源的视频转码软件，支持多种视频和音频格式的转码。

14.Audacity

一款开源的音频编辑软件，支持多种音频格式和特效，可以进行音频剪辑、合并、降噪等操作。

15.FlvAnalyser

是一款用于解析FLV（Flash视频）文件的工具，它可以帮助用户深入分析FLV文件的结构和内容。

8、硬件设备

1.摄像头

用于视频信号的采集，包括手机、相机、监控摄像头等不同类型。

2.麦克风

用于音频信号的采集，包括电容式、动圈式、热电式、MEMS麦克风等不同类型。

3.屏幕

用于视频信号的输出，包括电视、显示器、投影仪等不同类型。

4.扬声器

用于音频信号的输出，包括立体声、环绕声、多声道等不同类型。

5.编解码器

用于音视频信号的编解码，包括硬件编解码器、软件编解码器等不同类型。

6.路由器

用于音视频数据的传输和分发，包括有线路由器、无线路由器等不同类型。

7.服务器

用于音视频数据的存储和管理，包括CDN、云服务器等不同类型。

9、拓展研究

1.V4L2

是一个在Linux操作系统上用于访问视频设备的框架。

2.SDL

是一种跨平台的开源多媒体库，提供了控制音频、视频、输入和输出的API接口。

3.OpenGL

是一种跨平台的图形库，用于处理3D图形、动画和其他高性能的可视化任务。

4.OpenMAX

是一种跨平台的多媒体应用程序编程接口，用于控制音频、视频、图像等多媒体数据的处理。

5.国标GB28181

是中国公安部颁布的基于SIP协议的视频监控设备联网标准，是国内视频监控领域的标准之一。

6.CDN

是一种通过在全球分布式的节点上缓存和传输内容，提高内容传输速度和用户访问体验的网络架构。

7.弱网优化

通过对网络性能的分析和优化，提高在弱网络环境下的网络通信质量和用户体验。

10、使用场景

1.视频会议和远程协作

包括企业内部视频会议、远程培训、远程医疗、远程教育等，可以提高工作效率和协作效果。

2.监控和安防

包括视频监控、智能门禁、车辆识别等，可以提高安全性和管理效率。

3.社交和直播

包括短视频、直播、音频社交等，可以提供娱乐和交流平台。

4.游戏和虚拟现实

包括游戏视频直播、游戏实况解说、虚拟现实游戏等，可以提供更加沉浸式的游戏体验。

5.电影和电视

包括电影院放映、电视节目播出等，可以提供高品质的影视体验。

6.体育和演出

包括体育赛事转播、演出现场直播等，可以让更多观众享受到现场的视听盛宴。

7.教育和文化

包括在线教育、数字博物馆、文化遗产保护等，可以提供更加便捷的学习和文化体验。