音视频封装：FLV格式详解和打包H264、AAC方案

于 2023-06-07 12:38:49 发布
阅读量296 收藏
点赞数
文章标签： 音视频 aac ffmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hey5178/article/details/131085195
版权
本文介绍了FLV作为Flash Video的封装格式，虽然随着Flash Player的淘汰，但因其在低延时直播中的应用，仍然具有重要地位。FLV主要支持H264视频编码和AAC音频编码，常用于rtmp+flv直播方案。FLV的结构包括文件头和文件体，由一系列Tag组成，包括音频、视频和脚本数据。未来，FLV的局限在于其对编码格式的支持有限，但鉴于H264的广泛应用，FLV仍有其生命力。
摘要由CSDN通过智能技术生成

问题背景： 概念： flv即flash video，是Adobe公司推出的一种音视频封装格式，这家公司在音视频、图像图形领域也算是神一般的存在，多少都用过他们家的产品。常见 的Photoshop和Flash palyer就是他们家的。今天要讲到的flv也是他们推出来的，也是Flash palyer播放的标准音视频格式。在HTML5出来之前，想在 web上播放音视频，基本都靠flash插件。 发展现状： 最近新闻已经看到：由于flash性能和安全问题，会在2020年底彻底失去支持，浏览器基于flash player播放视频这条路算是在21世纪的第二个十年走完了 辉煌的一生。既然这项技术都要淘汰了，为啥还要讲解这种音视频封装格式？接过flash player大旗的是上述新闻说的开源项目flv.js和苹果推出的HLS这 两项技术。关于HLS涉及的音视频封装格式ts已经在这篇文章讲过，HLS协议本身会在后续系列看到讲解。 直播方案： flv.js这个开源项目能做什么呢？它解析flv文件喂给原生HTML5 Video标签播放音视频数据，使浏览器在不借助flash的情况下播放flv成为可能,一般应用 在低延时的web直播和一些视频网站的点播。现在直播方案基本就是rtmp+flv、http+flv和hls+ts.其中前两项技术都是Adobe推出的，hls技术目前存在的 最大问题是延时比较高，一般延时会达到10秒级别，对于低延时直播不能忍受。rtmp+flv目前不能在web上使用，延时基本和http+flv保持一致。 http+flv算是Adobe的一种中间妥协技术，既能方便在web上实现，又能降低延时，协议简单实现容易。同时将流媒体放到http上传输，方便穿越防火 墙，网络亲和力好,目前这种技术在爱奇艺，优酷和一些直播网站上都能看到。rtmp

最低0.47元/天 解锁文章
Liveweb视频汇聚平台
关注
博客
视频流媒体解决方案，Liveweb国标GB28181视频监控汇聚平台
10-08 529
Liveweb视频融合平台除了满足国标联网平台的能力之外，还集成了更丰富的视频功能，特别是视频相关项目的汇聚整合能力，支持一套平台接入视频监控资源的管理、国标联网、流媒体处理、视频共享、视频转码、视频分发、API开发、AI智能分析接入等，避免套娃式采购，在项目实施上造成困扰。Liveweb视频融合平台提供了完善的API开发接口，支持调用视频资源的接入和输出、视频监控的PTZ控制、录像策略和调看、视频流的播放、设备管理等，一套Liveweb平台可以涵盖各种业务系统开发以及平台项目集成需求。
博客
深入解析WebRTC服务器架构：原理、应用与优化
09-30 828
这种架构的优点在于，它既可以保持较低的延迟和较轻的服务器负载，又可以解决Mesh架构中客户端资源消耗过多的问题。然而，Mesh架构的缺点也很明显，它需要每个客户端都分配更多的端口和系统资源，同时还需要消耗更多的上行网络带宽。因此，这种架构比较适合网络状况较好，且人数较少的场景，如一对一的音视频通话。MCU架构是一种集中式的架构，所有的音视频数据都先传输到MCU服务器，再由MCU服务器进行转发。然而，MCU架构的缺点也很明显，由于所有的音视频数据都需要经过服务器转发，因此延迟较高，且服务器负载较重。
博客
音视频 | 视频直播中说的抓流和推流，是什么意思，两种有什么区别？
09-30 207
服务器端会将最新的直播数据生成新的小文件，客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。RTMP是目前最主流的流媒体传输协议，对CDN支持良好，实现难度较低，是大多数的直播平台的选择。由于数据通过HTTP协议传输，所以完全不用考虑防火墙或者代理的问题，而且分段文件的时长很短，不过HLS的。WebRTC支持目前的主流浏览器，并且基于SRTP和UDP，即便在网络信号一般的情况下也具备较好的稳定性。分段推送的技术特点，决定了HLS的延迟一般会高于普通的流媒体直播协议。
博客
如何实现视频直播的低延时？RTMP和WebRTC的优劣何在？
09-30 245
WebRTC是近两年看好的方向，大多采用RTMP框架的流媒体系统在处理直播中的问题时会用到WebRTC。它使用UDP来进行媒体推流，而不需要创建离散的媒体段，这位所有客户端提供了始终如一的低延时。WebRTC协议的设计使其可以很灵活的进行各种实现，使企业能够尝试针对一对一，一对多，甚至一对数百万的解决方案。RTMP是基于TCP的标准协议，CDN网络普遍支持，也能做到相对比较低的延迟。优化视频直播中的延时，可以通过下面几个环节：采集，编码，推流，转码，分发，拉流，解码和渲染。
博客
WebRTC 和 RTSP 协议的区别及选择
09-29 848
在 WebRTC 和 RTSP 之间做出选择以满足您的流媒体需求似乎令人生畏，但当您考虑到您的特定业务应用时，决定就会变得简单。WebRTC 具有强大的安全性和浏览器支持，在实时交互方面表现出色，是通信密集型行业的理想选择。虽然在面向消费者的应用中，RTSP 的可扩展性不如一些较新的协议，但在受控环境中的可扩展部署中，如教育机构或企业培训设施，RTSP 仍然是高效的。在您权衡各种选择时，了解 WebRTC 和 RTSP 等流行协议的区别可能是为您的业务开启新的连接和互动水平的关键。下面我们一起来看下。
博客
ffmpeg将rtsp流转文件 rtsp webrtc
09-29 877
RTSP作为一个应用层协议，提供了一个可供扩展的框架，使得流媒体的受控和点播变得可能，它主要用来控制具有实时特性的数据的发送，但其本身并不用于传送流媒体数据，而必须依赖下层传输协议(如RTP/RTCP)所提供的服务来完成流媒体数据的传送。tid=83&连麦是现在直播中比较高大上的一个功能，可以和主播直接互动，市面上的映客，ME直播可以，一般都是两个人或三个人之间互动，可以说是为直播锦上添花，拉近了主播和和粉丝的距离，增加了人气等等等。这要看你用的客户端是什么。
博客
几种视频流介绍 RTP/RTCP/RTSP/WebRTC/RTMP/HLS
09-29 990
RTMP 协议传输时会对数据格式化，而实际传输的时候为了更好地实现多路复用、分包和信息的公平性，发送端会把Message划分为带有 Message ID的Chunk，每个Chunk可能是一个单独的Message，原则上，RTSP，RTMP，HTTP 都可以做直播和点播，但一般做直播用 RTSP和RTMP，做点播用 HTTP。相对于常见的流媒体直播协议，例如RTMP协议、RTSP 协议、MMS 协议等，HLS 直播最大的不同在于，直播客户端获取到的，并不是一个完。不过HLS的这种技术特点，决定了它的。
博客
java实现监控rtsp流转flv方法实例
09-29 590
maven配置文件引入坐标:12345678910。
博客
基于 WebRTC 的 RTSP 视频实时预览
09-29 292
如果是在 windows 下，webrtc-streamer 也会抓取到窗口和屏幕的快照页面，可以使用 -q 参数进行过滤，其支持正则表达式。WebRTC 的实现方案在 Github 有非常多，经过一序列对比和测试，最终选择的是使用 webrtc-streamer 这个项目，其容易使用并且较为稳定。方案选用为基于 WebRTC 的视频即时通讯，它原生支持对 RTP 协议的解码，所以能够做到延迟很低，大概0.2-0.4秒左右，其他方案都有大于1秒的延迟。替换相应的信息以进行测试。以下介绍内容来自百度百科。
博客
SRT推流WebRTC播放闪断问题和解法
09-29 419
定位出引起问题的地方，以及分析了代码流程后，再回头从SRS日志中发现RTMP服务和浏览器播放端之间网络抖动时断开了连接，一段时间后没有视频消费者，会导致关闭RTMP服务的Publish线程，而SRT服务在收到设备推送的SRT数据，又会重新连接到RTMP服务。连接后需要重新发送音频和视频的解码参数（ADTS，SPS，PPS）到RTMP服务，但SRT服务没有关停过，而SRS此处逻辑忽略了此时需重发这些信息，以及清除发送缓冲（_send_map）。也没发现任何问题，这样三端没问题即都有问题了。
博客
live555从RTSP服务器读取数据到使用接收到的数据流程分析
09-29 493
总结：从上面的分析可知，如果要取得从RTSP服务器端接收并保存的数据帧，我们只需要定义一个类并实现如下格式两个的函数，并声明一个指针地址buffer用于指向数据帧，再在continuePlaying()函数中调用getNextFrame(buffer，...)即可。上面的fAfterGettingFunc为我们自己注册的函数，如果运行的是testProgs中的openRTSP实例，则该函数指向下列代码中通过调用getNextFrame（）注册的afterGettingFrame（）函数。
博客
C++与Live555实现RTSP服务器
09-29 1313
UsageEnvironment类：这是一个抽象基类，用于定义事件循环。你可能会使用到它的taskScheduler()方法来获取任务调度器。BasicUsageEnvironment类：这是UsageEnvironment的一个具体实现，你可能会使用它的createNew()方法来创建一个新的环境。RTSPServer类：这个类用于创建和管理RTSP服务器。
博客
ffmpeg/live555常见问题错误及解决方法
09-29 354
原来，为了让pkg-config可以得到这些信息，要求库的提供者，提供一个.pc文件，.pc文件里面存放的是一些头文件及库的地址。这些.pc文件默认放在/usr/share/pkgconfig里面，如果你改变了.pc的存放路径，必须要让计算机知道，所以需要修改 PKG_CONFIG_PATH。ffmpeg 默认是用C文件来编译的，如果某个CPP文件想引用ffmpeg中的某些函数或者头文件，有可能出现。方法：运行live\genWindowsMakefiles.cmd，生成VS能够编译的*.mak文件。
博客
Windows下利用live555实现H264实时流RTSP发送的方案
09-29 264
结果在得到利用live555去做比较简单的结论的同时也悲情地发现，网上别人贴出来的代码基本都是Linux上面的。本文参考了网上的一些代码，自定义了一个继承自H264VideoFileServerMediaSubsession的类来来进行处理，同时定义了一个继承自FramedSource的类来做内存的拷贝操作，该类亦是区别于读本地文件和实时流之紧要处。代码如下，如果觉得需要或者懒得自己搭建live555的环境亦可以在文中最后的链接中下载该工程（环境为VS2013），如果你的VS版本合适即可直接运行。
博客
如何使用 WebRTC 获取摄像头视频
09-28 297
WebRTC 是一个强大的工具，能够帮助开发者在不安装任何第三方软件的情况下，在浏览器中实现实时视频和音频通信。通过简单的 HTML 和 JavaScript 代码，你可以轻松创建一个视频捕捉页面，为用户提供实时视频流。这种技术不仅适用于视频聊天应用，还可以扩展到各种实时交互场景中，如远程教学、在线协作等。
博客
webrtc SRTP加密用到的参数
09-28 187
加密算法：WebRTC支持的加密算法有AES-CM（Advanced Encryption Standard Counter Mode）和AES-GCM（Galois/Counter Mode），其中AES-GCM较为安全，但需要更高的计算资源。密钥协商：WebRTC使用DTLS（Datagram Transport Layer Security）协议进行密钥协商，以确保加密通信双方都拥有相同的密钥。密钥长度：SRTP使用的密钥长度通常为128位或256位，密钥越长，安全性越高。
博客
C++ 使用 zlmediakit 推送 websocket flv 流
09-28 132
在本例中，我们使用 libwebsockets 来创建一个 websocket 服务器，并使用 zlmediakit 来推送 rtsp 流到 websocket 客户端。您可以根据您的实际需求调整代码。配置 zlmediakit 在推送websocket flv流之前，您需要正确地配置 zlmediakit。开始推流 当websocket客户端连接到服务器并准备好接收数据时，您可以使用 zlmediakit 的 API 将视频流推送到websocket客户端。
博客
FFmpeg混流及录制rtmp直播流
09-28 346
虽然拉多流比起拉单流会消耗更多的带宽成本，但是拉多流节省计算资源成本，整体而言，成本是降低了。混流这个环节包括做抖动缓冲，目的是把多路流进行画面对齐和音画同步，同时通过缓冲对抗网络抖动，以便混合成一路流以后能够达到良好的效果。不灵活：由于观众端拉单流观看，多路音视频流已经被混合成单流，所以观众端无法再灵活地对多流进行操控，比如切换画中画的主次画面。高延迟：由于在做混流的过程中，需要做抖动缓冲和实时转码等计算处理，将会耗费时间，从而造成额外的延迟。延迟低：不用混流，节省了混流消耗的时间，显著地降低了延迟。
博客
webrtc摄像头对讲方案metaRTC ZLMediaKit
09-28 389
网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。AGC可以自动检测音频信号强度和自动调整输入和输出音频信号的音量，防止音频音量忽大忽小，保证音频采集和播放的稳定性。AEC会监测扬声器和麦克风拾音器输入之间的回声，并使用算法来抵消回声信号，避免出现回声和延迟以提高语音对讲质量。摄像头对讲语音处理是其中非常重要的模块，实现流畅、清晰、稳定的对讲需要多种声音处理模块。VAD算法的作用是检测是否是人的语音，可作为其他音频处理的参考。
博客
音视频处理工具FFmpeg与Java结合的简单使用
09-28 949
- 引用自百度百科。此处：-ss position 搜索到指定的时间 [-]hh:mm:ss[.xxx]的格式也支持，-vframes 设置转换多少桢(frame)的视频，此命令是获取第一秒第一帧的截图。音视频合并会使用到两个输入资源，一个音频资源和一个视频资源，此处的例子为一个10s的视频与一个20s的音频，我要达到的效果是视频播放完毕，便退出播放，剩余音频不再进行播放。注：在编写命令是，音频文件一定要在视频文件的前面，否则合成出来的视频是有问题的，你会发现音频并没有合成进来。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值