音视频
文章平均质量分 79
麦晓宇
个人从事程序化交易、ios,android开发,逆向
展开
-
视频会议及流媒体十大开源项目
在视频会议领 域,有许多可以值得参考的开源项目,这些开源项目有的是协议栈、有的是编码器或者是传输协议,由于视频会议系统是一个综合性的应用系统,里面包含功能较 多,如能把这些开源项目选择性的加入我们的视频会议开发当中,我们的开发效率肯定会事半功倍,下面我们列举一下视频会议相关的十大开源项目,并对其重要性 及优缺点做一个全面的评价与排名。 1、 OpenH323项目 (转载 2016-07-02 16:33:19 · 1476 阅读 · 0 评论 -
RTP audio video profile
The RTP audio/video profile (RTP/AVP) is a profile for Real-time Transport Protocol (RTP) that specifies the technical parameters of audio and video streams. RTP specifies a general-purpose data for转载 2017-04-08 12:56:41 · 2250 阅读 · 0 评论 -
WebRtc语音整体框架
WebRtc语音整体框架图一语音整体框架图 如上图所示,音频整个处理框架除了ligjingle负责p2p数据的传输,主要是VOE(Voice Engine)和Channel适配层图二创建数据通信channel时序图 上图是本地端 的完整过程,VOE由CreateMediaEngine_w开始创建,Channel适配层由SetLocalDescripti转载 2017-04-08 16:16:37 · 3371 阅读 · 0 评论 -
WebRTC架构简介
WebRTC由语音引擎,视频引擎和网络传输三大模块组成,其中语音引擎是WebRTC中最具价值的技术之一。WebRTC语音引擎由一系列音频和网络处理模块组成,包括了从音频采集到网络传输等处理流程的完整解决方案。语音引擎工作流程图语音引擎的一般工作流程如下:1.发起端进行声音采集2.采集到的声音信号进行回声消除,噪音抑制,自动增益控制处理原创 2017-04-08 17:33:58 · 12372 阅读 · 1 评论 -
WebRTC带宽估计
带宽估计可能是WebRTC视频引擎中最重要的一部分了。带宽估计(BWE)模块的任务是决定你可以发送多大的视频流且不会造成网络拥塞,以此来保证不会降低视频质量。 在以前的带宽估计算法还是十分基础的,大体上是基于丢包而设计的。通常我们在开始慢慢的增加视频的比特率,直到我们检测到丢包为止。为了检测丢包,你使用标准的RTCP反馈,其中接收端使用RTCP接收端报告(RR)信息来周期性转载 2017-04-09 20:19:30 · 9285 阅读 · 0 评论 -
WebRTC protocols
这篇文章介绍了WebRTC API运行依赖的底层协议。ICEEDIT交互式连接建立Interactive Connectivity Establishment (ICE) 是一个允许你的浏览器和对端浏览器建立连接的协议框架。在实际的网络当中,有很多原因能导致简单的从A端到B端直连不能如愿完成。这需要绕过阻止建立连接的防火墙,给你的设备分配一个唯一可见的地址(通常情况下我们的大部转载 2017-04-09 20:26:49 · 896 阅读 · 0 评论 -
【视频处理】YUV与RGB格式转换
【视频处理】YUV与RGB格式转换YUV格式具有亮度信息和色彩信息分离的特点,但大多数图像处理操作都是基于RGB格式。因此当要对图像进行后期处理显示时,需要把YUV格式转换成RGB格式。RGB与YUV的变换公式如下: YUV(256 级别) 可以从8位 RGB 直接计算:Y = 0.299 R + 0.587 G +转载 2017-06-05 16:49:51 · 1127 阅读 · 0 评论 -
心跳之旅—iOS用手机摄像头检测心率(PPG)
本文中涉及到的要点主要有:AVCaptureCore GraphicsDelegate & BlockRGB -> HSV带通滤波基音标注算法(TP-Psola)光电容积脉搏波描记法(PhotoPlethysmoGraphy, PPG)在开始之前,我先为大家展示一下最后成品的效果:心率检测的ViewController上图展示的是心率检测过程中的主要界面转载 2017-06-19 10:21:27 · 16194 阅读 · 4 评论 -
Android IOS WebRTC 音视频开发总结(十七)-- 调试技巧
本文章主要介绍WEBRTC在各平台下调试或日志查看方式,以方便问题排查,包括BS,PC,Android,IOS(本系列文章转载请说明出处,博客园RTC.Blacker). 1,浏览器开发:这种开发方式不需要下载和编译WEBRTC源码(很多人都是"死"在这里的,不过确实很麻烦,原因就不赘述了),直接调用浏览器提供的API,入门相对简单(这并不意味着效果差,恰恰相反,因为浏览器厂商为你转载 2017-06-13 22:11:46 · 1161 阅读 · 0 评论 -
AVFoundation
关于AVFoundationAVFoundation是一个可以用来使用和创建基于时间的视听媒体的框架,它提供了一个能使用基于时间的视听数据的详细级别的Objective-C接口。例如:您可以用它来检查,创建,编辑或是重新编码媒体文件。也可以从设备中获取输入流,在视频实时播放时操作和回放。下图时AVFoundation在IOS中的架构。AVFoundation在IOS中的位置转载 2017-06-13 20:57:01 · 614 阅读 · 0 评论 -
MPEG4与H.264的区别(音视频规范总结)
一、音频压缩编码标准。1、MPEG1标准MPEG1音频压缩算法特点:1)编码器的输入信号为线性PCM信号,采样频率是32KHz,44.1kHz或者48kHz,输出码率为32-384Kbit/s2)压缩后的比特流支持单声道和双声道3)MPEG1音频压缩标准提供三个独立的压缩层次:层1(Layer1)、层2(Layer2)、层3(Layer3)4)MP3转载 2017-08-29 09:19:56 · 2606 阅读 · 0 评论 -
讯飞语音的使用及常遇到的问题
讯飞语音是科大讯飞推出的以语音交互技术为核心的人工智能开放平台,为开发者免费提供语音识别、语音合成等语音技术SDK,人脸识别、声纹识别等。 最常遇到问题: 一、错误码21001,没有安装语音组件(在最下方有全部的错误码和解决方案) 解决方案: 1、有没有使用SpeechUtility.createUtility()设置appid。转载 2017-10-21 23:04:43 · 21298 阅读 · 0 评论 -
语音专题第一讲,麦克风阵列的语音信号处理技术
前言随着人工智能与人们的生活越来越近,语音技术的发展也备受关注。传统的近场语音已经无法满足人们的需求,人们希望可以在更远的距离,更复杂的环境中语音控制智能设备。因此,阵列技术成为远场语音技术的核心。阵列麦克风对人工智能的意义:空间选择性:通过电扫阵列等空间定位技术可以获取声源的有效位置,智能设备在获取精准的声源位置信息,让我们的语音更加智能,通过算法获取高品质的语音信号质量转载 2017-10-12 21:54:23 · 4390 阅读 · 1 评论 -
音视频面试题
填空题1.音频信号压缩编码的标准主要有______系列、______系列和______系列。2.音频编解码中常用的技术包括:______技术、______技术、______技术和______技术。3.经采样、编码但未压缩的语音信号(对应G.711编码)为:______。5.音频编码方法包括三大类:______、______和______。6.传输语音的格式一般有:_____原创 2017-08-29 17:02:02 · 10575 阅读 · 0 评论 -
双音多频信号(Dual-Tone Multi-Frequency, DTMF
双音多频信号(Dual-Tone Multi-Frequency, DTMF),电话系统中电话机与交换机之间的一种用户信令,通常用于发送被叫号码。在使用双音多频信号之前,电话系统中使用一连串的断续脉冲来传送被叫号码,称为脉冲拨号。脉冲拨号需要电信局中的操作员手工完成长途接续。双音多频信号是贝尔实验室发明的,其目的是为了自动完成长途呼叫。目录 [隐藏]转载 2017-04-08 12:47:31 · 7771 阅读 · 0 评论 -
PCM音频文件格式的头信息
一个裸的PCM格式音频数据,如果不带头信息,不知道其采样率等相关信息,就无法用播放器播放出来。下面是默认的头信息格式://音频头部格式struct wave_pcm_hdr{ char riff[4]; // = "RIFF" SR_DWORD size_8;原创 2017-02-25 23:27:05 · 6068 阅读 · 0 评论 -
MP4是最值得你选用的格式,全平台通用windows、linux、ios、mac、android、H5
According to the latest research from Strategy Analytics, Android secured a robust 43% global share in terms of tablet and maintained its leadership at 68.4% with regard to smartphones. One factor att转载 2016-08-01 19:12:32 · 3547 阅读 · 0 评论 -
H264码流结构分析
1、码流总体结构:h264的功能分为两层,视频编码层(VCL)和网络提取层(NAL)。H.264 的编码视频序列包括一系列的NAL 单元,每个NAL 单元包含一个RBSP。一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成,其中 Start Code 用于标示这是一个NALU 单元的开始,必须是"00 00转载 2016-08-31 21:21:51 · 1158 阅读 · 0 评论 -
视频会议及流媒体十大开源项目
在视频会议领 域,有许多可以值得参考的开源项目,这些开源项目有的是协议栈、有的是编码器或者是传输协议,由于视频会议系统是一个综合性的应用系统,里面包含功能较 多,如能把这些开源项目选择性的加入我们的视频会议开发当中,我们的开发效率肯定会事半功倍,下面我们列举一下视频会议相关的十大开源项目,并对其重要性 及优缺点做一个全面的评价与排名。1、 OpenH323项目 (★★转载 2016-12-10 23:48:01 · 6178 阅读 · 0 评论 -
H.264的三种开源编码器比较
Outline1、三大开源编码器介绍2、实验条件3、实验结果4、实验结论plus:增加t264 high quality mode的实验结果note: 新增内容设置为黄色底纹,以示区别;文中t264表示t264 fast mode,t264表示 t264 high quality mode。一、三大开源编码器介绍1、JMH.264的官方测试源码,由德国h转载 2016-12-11 23:26:18 · 6190 阅读 · 0 评论 -
用live555做流媒体转发服务器?
当我们看到这里,说明大家都有这样的一个想法:那就是如何用live555实现一个直播代理转发的流媒体服务器?我们先不着急去讨论用live555实现流媒体转发的技术方法123,先从live555的整个架构来看,live555做转发服务器,个人认为就是一个不稳定的命题,因为我亲身经历过从live555实现流媒体实时直播服务器,到不断不稳定,不断修复,最终在并发量怎么也上不去,稳定性始终达不到的情转载 2016-12-12 00:03:28 · 998 阅读 · 0 评论 -
视音频数据处理入门:H.264视频码流解析
=====================================================视音频数据处理入门系列文章:视音频数据处理入门:RGB、YUV像素数据处理视音频数据处理入门:PCM音频采样数据处理视音频数据处理入门:H.264视频码流解析视音频数据处理入门:AAC音频码流解析视音频数据处理入门:FLV封装格式解析视音转载 2016-12-15 20:44:40 · 756 阅读 · 1 评论 -
RTP 工具汇总
RAT - Robust Audio Tool; Supports a large number of codecs, ... License: Free; Homepage: http://www-mice.cs.ucl.ac.uk/multimedia/software/rat/JMF - Java Media Framework: Can receive and send RTP str原创 2016-12-15 20:58:38 · 6012 阅读 · 0 评论 -
最简单的基于FFmpeg的封装格式处理:视音频分离器简化版(demuxer-simple)
=====================================================最简单的基于FFmpeg的封装格式处理系列文章列表:最简单的基于FFmpeg的封装格式处理:视音频分离器简化版(demuxer-simple)最简单的基于FFmpeg的封装格式处理:视音频分离器(demuxer)最简单的基于FFmpeg的封装格式处理转载 2016-12-15 22:06:52 · 584 阅读 · 0 评论 -
从0到1打造直播 App
概要分享内容:互联网内容载体变迁历程,文字——图片/声音——视频——VR/AR——…….。从直播1.0秀场时代(YY),2.0游戏直播(斗鱼、虎牙、熊猫)到如今全民直播3.0泛生活娱乐时代(映客、花椒),国外直播app(Meerkat 、Periscope),随着VA/AR/MR提出的沉浸式视听体验,直播4.0时代很快就能到来。在这个全民娱乐的时代,直播已经火得不要不要的,转载 2016-12-15 23:14:38 · 1724 阅读 · 0 评论 -
Darwin Streaming Server for Windows 安裝
最近搞流媒体相关的项目,于是打算在局域网搭建一个流媒体服务器。本以为很快搞定的,但是,在安装过程中还是折腾了一番。 现把安装流程记下来: 一、下载Darwin Streaming Server for Windows 5.5 :http://dss.macosforge.org/downloads/DarwinStreamingSrvr5.5.5-Windo转载 2016-12-13 23:23:09 · 2055 阅读 · 0 评论 -
流媒体协议RTP、RTCP、H264详解
实时传输协议(RTP)为数据提供了具有实时特征的端对端传送服务,如在组播或单播网络服务下的交互式视频音频或模拟数据。应用程序通常在 UDP 上运行 RTP 以便使用其多路结点和校验服务;这两种协议都提供了传输层协议的功能。但是 RTP 可以与其它适合的底层网络或传输协议一起使用。如果底层网络提供组播方式,那么 RTP 可以使用该组播表传输数据到多个目的地。 RTP 本身并没有提供按时发送原创 2016-12-15 21:05:15 · 7188 阅读 · 3 评论 -
做一款仿映客的直播App?看我就够了
一、直播现状简介Linkee.101.技术实现层面:技术相对都比较成熟,设备也都支持硬编码。IOS还提供现成的 Video ToolBox框架,可以对摄像头和流媒体数据结构进行处理,但Video ToolBox框架只兼容8.0以上版本,8.0以下就需要用x264的库软编了。github上有现成的开源实现,推流、美颜、水印、弹幕、点赞动画、滤镜、播放都有。技术其实不是很难,而转载 2016-12-15 23:38:18 · 2966 阅读 · 3 评论 -
[流媒体服务器搭建] EasyDarwin服务器搭建及客户端推流完整示例
Windows下环境搭建一、准备工作,需要先下载我们需要的程序1、EasyDarwin 下载地址:https://github.com/EasyDarwin/EasyDarwin2、ffmpeg 下载地址:http://ffmpeg.org/3、nginx 下载地址:http://nginx.org/en/download.html转载 2016-12-15 23:05:55 · 31406 阅读 · 2 评论 -
凯聪网络摄像机SIP1201系列使用说明 说明书 设置教程
本说明包含产品所有设置功能:为了更方便查找:请使用 ctrl+f 搜索 查找答案。 苹果系统 请使用 command+f1201网络摄像机软件下载:电脑/PC搜索软件(windows):http://kaicong.net/download/KaiCongIPCameraFinder.zip电脑/PC集中客户端转载 2017-01-07 22:57:59 · 33474 阅读 · 2 评论 -
海康相机RTSP连接代码分析
最近在做海康相机rtsp连接获取音视频的工作,现在介绍一下分析过程和源码。【源码在我上传的共享资料中: http://download.csdn.net/detail/zhouyongku/8203521 】一、基本原理RTSP客户端去连接服务器的最基本步骤如下:(1)分析url中的端口号,创建一个与服务器[S-PORT]端口号的TCP连接用于RTSP命令交转载 2017-01-07 23:10:03 · 2918 阅读 · 0 评论 -
单独编译使用WebRTC的音频处理模块
不推荐单独编译 WebRTC 中的各个模块出来使用。 昨天有幸在 Google 论坛里询问到 AECM 模块的延迟计算一事,Project member 说捣腾这个延迟实际上对 AECM 的效果没有帮助,这个延迟值仅在 AECM 启动时加快内置延迟估算器的收敛,如果更新的延迟有误,甚至会使 AECM 内置的延迟估算器出现错误的偏移,他建议我使用一个理论上的定值,转载 2018-01-26 16:10:07 · 2661 阅读 · 1 评论