流媒体/直播/短视频/WebRTC
文章平均质量分 81
本专栏旨在归档,收集总结流媒体相关的工作中的知识感悟;学习流媒体相关的技术的知识拾贝;关注前沿流媒体技术的摘抄和备忘。
FeelTouch Labs
这个作者很懒,什么都没留下…
展开
-
RTS 与 FreeSWITCH
登录 GitHub 开拓 RTS 社区是必不可少的一项工作,但有时候由于网络限制或其他原因,我们可能无法直接访问 GitHub。在这篇文档中,将为您提供一种不使用代理的方法来访问 GitHub 网站。原创 2024-07-23 17:51:28 · 655 阅读 · 0 评论 -
WebRTC集锦
WebRTC源码解读一WebRTC简介与代码架构使用级联SFU改善媒体质量和规模做WebRTC,千万别把媒体和信令混在一起WebRTC实践简介声网AgoraWhy WebRTC|“浅入深出”的工作原理详解WebRTC的现状和未来:专访W3C WebRTC Chair Bernard Aboba(下)...原创 2021-08-23 12:13:10 · 220 阅读 · 0 评论 -
视频直播技术:最大限度保障流畅性和清晰度
流畅性和清晰度定义观众在观看直播或者与主播进行互动直播的过程中,对音视频流畅性和清晰度的感受可以通过视频帧率、视频PSNR(或SSIM)分值、音频MOS分值等客观参数指标来表征。越高的视频帧率带来的视频流畅性越高,越高的视频PSNR(或SSIM)分值带来的视频清晰度越高,越高的音频MOS分值带来的音频流畅性和清晰度越高。那么,如何通过提高网络QoS技术改善网络质量,从而提高上述的客观指标呢?下面我们就单向直播和互动直播分别进行介绍。单向直播的流畅性和清晰度这里的单向直播特指通过RT.转载 2021-08-23 12:01:07 · 1249 阅读 · 0 评论 -
SRT、RTMP、NDI视频传输协议对比
一、SRT和NDI两种低延时传输协议的比较关于SRT:SRT是由Haivision和Wowza共同创建的互联网传输协议,是时下非常受欢迎的开源低延迟视频传输协议。使用SRT传输技术,能够成功实现普通互联网环境下、多地之间、安全可靠的高清视频传输与分发。关于NDI:NDI是NewTek公司于2015年推出的网络设备接口协议,是一种基于局域网络的信号传输协议。使用NDI传输技术,在局域网内的一个设备可以通过一条网线输出或者接收多个NDI信号,可完全取代传统SDI/HDMI视频线传输,它让视频在I转载 2021-03-22 17:36:42 · 5680 阅读 · 2 评论 -
声网如何处理直播 SEI 相关问题?
声网 SEI 规范在默认情况下,声网进行服务端转码推流时,会在转码后的 H264/H265 的 SEI(Supplemental Enhancement Information)中,增加当前视频的编码信息。该信息为 JSON 格式的字符串,具体示例如下:{ "canvas": { "w": 640, "h": 360, "bgnd": "#000000" }, "regions": [ {原创 2021-01-27 14:07:00 · 1241 阅读 · 0 评论 -
AV1编码技术详解
AV1,目前业界最新的开源视频编码格式,对标专利费昂贵的H.265。它由思科、谷歌、网飞、亚马逊、苹果、Facebook、英特尔、微软、Mozilla等组成的开放媒体联盟(Alliance for Open Media,简称AOMedia)开发。而当前中文资料较少,IEEE一篇论文:An Overview of Core Coding Tools in the AV1 Video CodecAV1是一种新兴的开源、版权免费的视频压缩格式,由开放媒体联盟(AOMedia)行业联盟于2018年初联合开发并最原创 2020-12-18 20:18:23 · 40475 阅读 · 1 评论 -
AV1比HEVC/H.265简单对比
AV1是由开放媒体视频联盟(Alliance of Open Media Video)开发的开放、免版税的下一代视频编码格式。它被设计为取代谷歌的VP9,并与H.265/HEVC竞争。AV1的目标是在VP9/HEVC上基础上提高约30%的编码效率。AV1的主要特征互操作性和开放性针对互联网的优化适用于具有低计算能力的硬件适应于任何带宽上,可扩展到任何现代设备上具有一致性、最高质量、实时视频传输能力完全免费,灵活的商业和非商业内容,包括用户生成的内容。以上可以看出,AV1完全是对标H.265去原创 2020-12-18 20:14:53 · 17977 阅读 · 2 评论 -
技术揭秘:支持百万级粉丝互动的Facebook实时视频直播
前言几个月前,我们开始推出 Facebook Mentions 的 Live 功能,该功能让认证后的公众人物可以通过 Mentions 对其 Facebook上 的粉丝进行视频直播。我们在这次部署中学到了很多,并且我们已经开始测试 Facebook 用户使用的视频直播分享功能,第一步我们先从美国使用 iPhone 的这一小部分用户开始测试。为 Facebook 构建视频直播是一项具有挑战性的大规模工程活动。在 Facebook Mentions 的 Live 功能上,我们必须解决巨大的流量峰值问题。转载 2020-12-18 20:13:29 · 684 阅读 · 3 评论 -
阿里云直播GRTN和RTC技术谈
直播,已经成为了“剁手党”们最喜闻乐见的一种购物形式。对直播体验的极致追求,也是淘宝技术人们长期的努力方向。为了提升用户购物体验,让直播更加丝滑,让剁手更快一些,在2020双十一期间,淘宝首次启用了阿里云CDN的GRTN全球实时传输网络。数据显示,和传统的HTTPFLV/RTMP方式相比,在启用了GRTN后,直播端到端的延时降低了83%。那么,GRTN到底是什么?其背后究竟隐藏了哪些核心技术?这篇文章会通过回顾互联网直播技术的发展历程,深度剖析直播延时的技术挑战,并解读阿里云全球实时传输网络GRT.转载 2020-11-14 15:27:49 · 3697 阅读 · 4 评论 -
WebRTC RP系列2---如何实现 SFU 服务器
上一篇文章我们了解了 WebRTC SFU 服务器的基本原理和必要性,解决了 What 和 Why,本文则更近一步,探究一下实现 SFU 服务器的关键技术点有哪些 ?重点解决一下 How1 什么是 SFU ?首先,我们再看一次 SFU 服务器的定义,什么是 SFU ?SFU 的全称是:Selective Forwarding Unit,是一种路由和转发 WebRTC 客户端音视频数据流...转载 2019-08-30 01:06:30 · 2043 阅读 · 1 评论 -
WebRTC RP系列1---为什么你需要 SFU 服务器
入门 WebRTC 之后,很快就会接触到一个名词,叫做:SFU,你可能很容易就在网上寻找到很多 SFU 的开源实现,并并兴致勃勃地开始编译、部署和测试这些服务器,但是可曾想过,为啥我们的 WebRTC 应用需要 SFU 服务器 ?1 WebRTC P2P 通话的网络模型如图是 WebRTC P2P 模式下的网络拓扑结构,ClientA 和 ClientB 如果能够顺利建立 P2P 的连...转载 2019-08-30 00:56:34 · 1332 阅读 · 0 评论 -
音视频---速搭建语音聊天室技术分析
语音聊天室孵化一起KTV、众人大合唱、语音开黑、狼人杀、剧本杀、多人配音、观影、语音电台、相亲联谊社交等,一般都是在语音聊天室中进行,那么语音聊天室产品如此火热的原因有哪些呢?一对一社交适用于朋友、家人之间,而更多的社交场景需要多人参与,聊天室的多人属性,正好满足此需求,用户按照自己的兴趣去交友聊天,也让社交更加多样化、娱乐化。对于有视频社交压力的用户来讲,实时展示自己的画面会是一...转载 2019-11-07 01:18:53 · 954 阅读 · 0 评论 -
音视频---直播云厂商架构分析和选型研究完整版
目录ucloud(优刻得)qiniu(七牛)3ttech(三体云)baishan(白山云)wangsu(网宿)chinacache(蓝汛)aliyun(阿里云)腾讯云百度云其他直播云(技术对接 无CDN)又拍云好未来ucloud(优刻得)地址:https://docs.ucloud.cn/video/ulive/intro特色:...原创 2019-11-03 23:42:36 · 1527 阅读 · 0 评论 -
音视频Share系列5---实时音视频RTC通信技术架构
实时音视频RTC实时RTC产品架构实时音视频整体技术架构实时音视频RTC产品基础能力实时音视频RTC优势实时音视频终端技术架构实时音视频终端技术栈SDK快速接入实施案例...原创 2019-10-27 23:05:02 · 1046 阅读 · 0 评论 -
A记录、CNAME、MX记录、NS记录的区别和联系
1.A记录又称IP指向,用户可以在此设置子域名并指向到自己的目标主机地址上,从而实现通过域名找到服务器。说明:·指向的目标主机地址类型只能使用IP地址;附加说明: 1) 泛域名解析即将该域名所有未指定的子域名都指向一个空间。在“主机名”中填入*,“类型”为A,“IP地址/主机名”中填入web服务器的IP地址,点击“新增”按钮即可。 2)...转载 2019-11-05 08:39:12 · 750 阅读 · 0 评论 -
音视频系列---最强播放器推荐
PotPlayer地址:https://daumpotplayer.com/download/基础功能:Daum PotPlayer—完全免费的多功能多媒体播放器,具有内置编解码器和灵活的设置系统。具有许多Kmplayer的功能,因为开发了他作为该播放器的作者之一。Daum PotPlayer的主要功能和可能性:—高品质的复制品以及视频和音频。—支持所有现代视频和格式的音...原创 2020-03-12 01:40:41 · 1324 阅读 · 2 评论 -
音视频Share系列6---短视频创作的技术趋势
短视频创作趋势短视频+AR短视频创作核心能力1.0核心解决方案2.0解决方案3.0解决方案AR引擎架构短视频和AR特效创新短视频和AR创作架构图未来...原创 2019-10-27 23:16:32 · 310 阅读 · 0 评论 -
音视频Share系列4---CDN质量调优设计思考和实践
常见客户端选择供应商的手段服务侧调优手段---全链路分析接入层优化基于质量的自动调度Nginx业务性能优化分级缓存5种协议栈场景免流节点导致重传上升全链路HTTPS一致性HASH...原创 2019-10-27 18:53:09 · 474 阅读 · 0 评论 -
音视频Share系列3---视频直播系统LSS的技术优化分析
视频直播系统LSS视频直播系统架构图方案对比分析直播协议栈原理私有协议实现高并发原创 2019-10-27 17:24:54 · 508 阅读 · 0 评论 -
音视频Share系列2---基于H.265的编码技术优化实战
RealNetworksRMHDHEVC/H.265视频编码标准HEVC标准与实现HEVC编码器实现优化百度视频云提供能力百度HEVC编码器BD265BD265在Faster档直播性能分析BD265在Slower档点播性能分析BD265内容自适应码率控制BD265编码器帧类型选择BD265编码器面...原创 2019-10-27 16:15:22 · 603 阅读 · 0 评论 -
音视频Share系列1---百度音视频智能编码技术方案
基于内容的自适应编码CAECAE技术方案分析比较基于AI场景级别的CAE编码最优参数选择模型3.0音视频感官增强的理论和方法基于ROI的视频感官增强实现音视频智感超清技术应用架构基于AI的智能编码未来发展趋势...原创 2019-10-27 15:00:21 · 649 阅读 · 0 评论 -
RSocket一种新的响应式应用新协议
简介RSocket是在华盛顿特区举行的SpringOne平台会议上宣布的,是一种新的第7层语言无关的应用网络协议。它是一种基于Reactive Streams背压的双向,多路复用,基于消息的二进制协议。它由Facebook,Netifi和Pivotal等工程师开发,提供Java,JavaScript,C ++和Kotlin等实现。开源RSocket专为服务而设计。它是一种面向连接的消息...原创 2019-03-07 00:45:33 · 2346 阅读 · 1 评论 -
MP4文件分割实现
MP4(MPEG-4 Part 14)是一种常见的多媒体容器格式,它是在“ISO/IEC 14496-14”标准文件中定义的,属于MPEG-4的一部分,是“ISO/IEC 14496-12(MPEG-4 Part 12 ISO base media file format)”标准中所定义的媒体格式的一种实现,后者定义了一种通用的媒体文件结构标准。MP4是一种描述较为全面的容器格式,被认为可以在其中...转载 2018-10-17 00:43:04 · 3260 阅读 · 1 评论 -
MP4文件格式解析
目前MP4的概念被炒得很火,也很乱。最开始MP4指的是音频(MP3的升级版),即MPEG-2 AAC标准。随后MP4概念被转移到视频上,对应的是MPEG-4标准。而现在我们流行的叫法,多半是指能播放MPEG-4标准编码格式视频的播放器。但是这篇文章介绍的内容跟上面这些都无关,我们要讨论的是MP4文件封装格式,对应的标准为ISO/IEC 14496-12,即信息技术 视听对象编码的第1...转载 2018-10-17 00:32:45 · 717 阅读 · 0 评论 -
阿里云Redis混合存储典型场景:如何轻松搭建视频直播间系统
本文主要介绍视频直播间系统,以及如何使用阿里云Redis混合存储实例方便快捷的构建大数据量,低延迟的视频直播间服务。背景视频直播间作为直播系统对外的表现形式,在整个系统中处于核心地位。通常除了视频直播窗口外,直播间还包含在线用户,礼物,评论,点赞,排行榜等信息。直播间消息,时效性高,互动性强,对系统时延有着非常高的要求,非常适合使用Redis等缓存服务来处理。直播信息实时排行信息...转载 2019-04-03 01:06:50 · 409 阅读 · 0 评论 -
HLS与RTMP在直播场景下的优劣分析以及架构分析
HLSHTTP Live Streaming(缩写是HLS)是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载,每次只下载一些。当媒体流正在播放时,客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源,允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时,客...原创 2018-04-14 22:10:43 · 5239 阅读 · 0 评论 -
四款好用的免费直播编码推流软件
现代生活已经离不开互联网,离不开软件了。 这说法毫不夸张。 比如手机上各种 APP 眼花缭乱 ,各种行业, 各种功能, 各种 Logo, 各种的各种。 没有良好的整理力,是真 的不好意思让别人看到啊。 这些功能各异的 APP 程序大多数是免费 APP。今天我们来谈谈 关于直播编码和推流的免费软件。 官网地址: http://www.800li.net/index.php?s=/home/websi...转载 2018-04-14 21:40:43 · 67278 阅读 · 2 评论 -
网络通信---端口重用(如何解除bind绑定)
[socket]如何解除绑定bind()?我找的关于setsockopt的资料:1. 如果在已经处于 ESTABLISHED状态下的socket(一般由端口号和标志符区分)调用closesocket(一般不会立即关闭而经历TIME_WAIT的过程)后想继续重用该socket:BOOL bReuseaddr=TRUE;setsockopt(s,SOL_SOCK转载 2015-09-30 10:28:13 · 4332 阅读 · 0 评论 -
基于RTP的音视频同步方案设计[专利保护]
注:该文章为上篇图案的同步部分的详述。 网络多媒体流是多种媒体类型在网络环境中的集成它既包括文本数据图片等与时间无关的媒体类型又包括语音图像等与时间密切相关的媒体类型不同类型的数据经过发送传输接收等环节后必定会产生不同的时间延迟因此保持媒体流之间的时间关系特别是实时流的连续同步关系是多媒体技术的关键多媒体流同步就是将有一定时间关系的各种媒体类型经过网络传输后在接收端能够保持原有的时间关系接...原创 2012-06-16 12:54:20 · 3015 阅读 · 0 评论 -
基于RTP的音视频封装和同步方案设计图案[专利保护]
原创 2012-06-16 12:30:24 · 1764 阅读 · 0 评论 -
音视频压缩编码技术
从DPCM到现在形成了经典的三种编码技术变换编码、预测编码、熵编码分别对应去除视频的空域冗余、时域冗余和统计冗余。原创 2011-12-01 23:29:26 · 1232 阅读 · 0 评论 -
H.264 NALU顺序规定
NALU类型标识NAL单元中的RBSP数据类型,其中,nal_unit_type为1, 2, 3, 4, 5及12的NAL单元称为VCL的NAL单元,其他类型的NAL单元为非VCL的NAL单元。0:未规定1:非IDR图像中不采用数据划分的片段2:非IDR图像中A类数据划分片段3:非IDR图像中B类数据划分片段4:非IDR图像中C类数据划分片段5:IDR图像的片段6:转载 2011-11-29 14:43:25 · 2228 阅读 · 1 评论 -
直播系统---从直播答题看SEI帧的原理和作用
什么事SEISEI即补充增强信息(Supplemental Enhancement Information),属于码流范畴,它提供了向视频码流中加入额外信息的方法,是H.264/H.265这些视频压缩标准的特性之一。SEI的基本特征如下:1. 并非解码过程的必须选项2. 可能对解码过程(容错、纠错)有帮助3. 集成在视频码流中也就是说,视频编码器在输出视频码流的时候...原创 2019-12-01 11:22:42 · 8291 阅读 · 0 评论 -
音视频流媒体直播资源集合【实时更新】
1,音视频开发资源汇总具体包括如下:即时通讯音视频开发(一):视频编解码之理论概述即时通讯音视频开发(二):视频编解码之数字视频介绍即时通讯音视频开发(三):视频编解码之编码基础即时通讯音视频开发(四):视频编解码之预测技术介绍即时通讯音视频开发(五):认识主流视频编码技术H.264即时通讯音视频开发(六):如何开始音频编解码技术的学习即时通讯音视频开发(七):音频基础及编码原理入门即...原创 2019-11-30 23:11:24 · 1064 阅读 · 0 评论 -
直播系统---从数据层设计的角度看映客直播系统架构变化
一、映客直播发展历程映客直播是2015年5月份成立的一家公司,在移动直播领域,映客算是比较早成立的公司了。如上图中所展示的就是映客APP上的一些页面,左图展示的是映客APP中的热门内容,这里是某一个反串演员主播正在进行直播,并且此时有5万多观众正在观看;右图则是映客直播的发现频道,发现频道里面主要会在热门时段对于平台内的优质内容进行展示推送。在映客APP中会有很多类似于前面提到的这些页面...转载 2019-11-29 21:30:58 · 1944 阅读 · 0 评论 -
直播系统---从客户端的视角看蘑菇街直播架构
直播简介直播最主要的特点就是实时性与互动性,这也是直播与点播之间的差别所在,它可以实时将主播端的视频信息以较低延迟传输到观众端,与此同时,观众可以通过群聊或者送礼物的方式与主播进行互动。图 1直播主要由以下几个环节所组成(图 1)1. 主播端采集2. 处理:美颜、水印,基于人脸识别的动态贴纸;3. 编码:视频主要是基于 H264 的编码格式;4. 推流:使用 RTP...转载 2019-11-29 20:42:25 · 1052 阅读 · 0 评论 -
直播系统---功能规划和实现分解简析
功能模块视频直播功能,这是一款直播App最主要的功能,要能支持视频直播RTMP推流,使画面传输流畅、清晰; 聊天功能,用户之间的互动聊天,包括文字和表情; 互动功能,用户与主播间的互动,点亮个灯,送一束花等等; 支付&提现功能,用户用现金购买礼物送给心仪的主播,主播收到礼物后可再兑换成现金取出; 视频回放功能,在直播的过程中同时录像,使得没看到直播的小粉丝也有机会再看; 分享...原创 2019-11-29 20:17:57 · 675 阅读 · 0 评论 -
微信小程序同层渲染原理剖析
众所周知,小程序当中有一类特殊的内置组件——原生组件,这类组件有别于 WebView 渲染的内置组件,他们是交由原生客户端渲染的。原生组件作为 Webview 的补充,为小程序带来了更丰富的特性和更高的性能,但同时由于脱离 Webview 渲染也给开发者带来了不小的困扰。在小程序引入「同层渲染」之前,原生组件的层级总是最高,不受z-index属性的控制,无法与view、image等内置组件相互覆盖,cover-view和cover-image组件的出现一定程度上缓解了覆盖的问题,同时为了让原...转载 2020-06-02 14:12:26 · 4333 阅读 · 0 评论 -
快手科技音视频技术亮相ChinaMM 首次公开多媒体传输协议KTP
在中国多媒体大会产业前沿论坛,快手科技算法科学家周超博士发表题为《多媒体传输算法应用和展望》的演讲,首次对外公开了其多媒体传输协议KTP(Kwai Transport Protocol,快手传输协议),该协议解决了重要的内容传输问题。以下为周超博士演讲的主要内容。快手的核心理念就是记录,力图打造一个简单、平等、普惠的平台。在快手,每个人都可以通过记录和分享来获得独特的幸福感,也因此,快手的视频...转载 2018-09-21 13:22:22 · 3373 阅读 · 0 评论 -
一篇文章读懂SDP、RTMP、HLS、SIP、MMS
SDP会话描述协议(SDP)为会话通知、会话邀请和其它形式的多媒体会话初始化等目的提供了多媒体会话描述。参考RFC2327 会话目录用于协助多媒体会议的通告,并为会话参与者传送相关设置信息。SDP 即用于将这种信息传输到接收端。SDP 完全是一种会话描述格式 ― 它不属于传输协议 ― 它只使用不同的适当的传输协议,包括会话通知协议(SAP)、会话初始协议(SIP)、实时流协议(R...原创 2018-10-07 21:24:01 · 2294 阅读 · 0 评论