音频知识
塞尔维亚大叔
毕业于上海复旦大学,专注技术多年,产品控、代码控,拥有丰富的项目经验,参与主持研发了多个成功上线的大型互联网项目。
展开
-
深入浅出,十年老司机告诉你移动直播如何秒开优化
现今移动直播技术上的挑战要远远难于传统设备或电脑直播,其完整的处理环节包括但不限于:音视频采集、美颜/滤镜/特效处理、编码、封包、推流、转码、分发、解码/渲染/播放等。时代在发展,技术在进步,移动直播问题也还有很多,在这里我就不一一总结,还是先来理清思路,才能找到解决方法。一 什么是视频?首先我们需要理解一个最基本的概念:视频。从感性的角度来看,视频就是一部充满趣味的影片,可以是电影,可以是短片,是一连贯的视觉冲击力表现丰富的画面和音频。但从理性的角度来看,视频是一种有结构的数据,用工程的语..原创 2020-06-15 19:39:12 · 1907 阅读 · 0 评论 -
高效提高音视频云服务弱网高可用性的方法
相关背景基于卓越的自研音视频引擎,即构科技实现了超低时延的多路音视频通信和优异的音频体验。通过深度优化音视频数据处理、传输策略和音视频信令服务,让音视频服务在各种环境下保持超高的可用性和优良的体验。一.70%高丢包环境下,即构音视频流畅互动以下为即构示例APP在上行丢包70%和下行丢包70%网络环境下的可用性展示:上行丢包70%:下行丢包70%:从测试数据可以看到,在上下行70%的高丢包环境下,即构示例APP依然可保持每秒15帧的流畅音视频通话。二.如何实现音视频云服务在原创 2020-06-08 17:52:02 · 438 阅读 · 0 评论 -
Android 音视频系列之 FFmpeg+OpenGL ES播放视频
目录一、Android音视频硬解码篇:1,音视频基础知识 2,音视频硬解码流程:封装基础解码框架 3,音视频播放:音视频同步 4,音视频解封和封装:生成一个MP4二、使用OpenGL渲染视频画面篇1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO数据缓冲区 6,Android音视频硬编码:生成一个MP4三、Android FFmpeg音视频解码篇1,FFmpe原创 2020-06-05 19:58:28 · 557 阅读 · 0 评论 -
Android 音视频系列之关于Android FFmpeg+OpenSL ES音频解码播放
目录一、Android音视频硬解码篇:1,音视频基础知识 2,音视频硬解码流程:封装基础解码框架 3,音视频播放:音视频同步 4,音视频解封和封装:生成一个MP4二、使用OpenGL渲染视频画面篇1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO数据缓冲区 6,Android音视频硬编码:生成一个MP4三、Android FFmpeg音视频解码篇1,FFmpe原创 2020-06-05 19:42:26 · 444 阅读 · 1 评论 -
音视频系列技术之SDL播放PCM
SDL简介SDL 是一套跨平台的音视频播放框架,对齐了底层硬件的差异,开发者可以专注于音视频的处理,本文记录在iOS上使用SDL播放pcm音频裸数据的实现过程。pcm是音频的裸数据。 sdl编译:可以直接在sdl官网下载源码编译成iOS平台使用的.a静态库,编译方式有两种,1)xcode编译;2)shell脚本编译,详细可以参考源码里的readme文档 源码目录: 用sh脚本编译的.a文件,最后运行不过去,会报错,在sdl论坛里提问了,也没有人回答,建议用第一...原创 2020-06-04 17:56:05 · 257 阅读 · 0 评论 -
音视频系列技术之如何入门DEMO
系列步骤 做个简单的入口 接入ffmpeg编译好的库和头文件,打印configuration 3 .推流的实现推流的实现,需要先搭建一个nginx + rtmp服务器,也不复杂,网上有很多详细的教程推流后,本地可以用ffplay来查看推流的视频,也可以写个简单的h5页面查看推流最末尾会报错,错误如下,google/baidu 找遍了所有的帖子,没找到原因 // av_write_trailer(ofmt_ctx); 只...原创 2020-06-04 17:04:18 · 741 阅读 · 0 评论 -
迅速转换音视频格式的方法
简介视频的格式都是可以转换的,可以转换成mp4格式,也可以转换成其它视频格式,视频格式的转换由专门的软件进行,迅捷视频转换器就能够迅速的转换视频格式。ogg格式完全开源,完全免费, 和mp3不相上下的新格式。 与MP3类似,OGGVorbis也是对音频进行有损压缩编码,但通过使用更加先进的声学模型去减少损失,因此,相同码率编码的OGGVorbis比MP3音质更好一些,文件也更小一些。另外,MP3格式是受专利保护的。 发布或者销售MP3编码器、MP3解码器、MP3格式音乐作品,都需要付专利.原创 2020-06-04 16:22:44 · 283 阅读 · 0 评论 -
老司机带你深入了解移动直播技术基础知识
本文可以了解到移动端视频直播相关的基础知识,以及如何利用腾讯云直播 SDK 搭建自己的直播系统。前言1. 视频时代已经来临当今的互联网,视频已经成为一股洪流,冲刷着每一个人。2020 年,由于新型冠状病毒疫情的爆发,视频直播互动更是一飞冲天,在网购、游戏、教育、金融等等方面都呈现爆发式发展。可见音视频相关的技术,已经是我们不得不去了解的内容了。2. 视频开发包括哪些内容移动端的音视频开发一般有:短视频和视频直播互动。在本人的【Android 音视频开发打怪升级】系..原创 2020-06-03 19:55:35 · 1897 阅读 · 0 评论 -
Android音视频: 引入FFmpeg
目录一、Android音视频硬解码篇:1,音视频基础知识 2,音视频硬解码流程:封装基础解码框架 3,音视频播放:音视频同步 4,音视频解封和封装:生成一个MP4二、使用OpenGL渲染视频画面篇1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO数据缓冲区 6,Android音视频硬编码:生成一个MP4三、Android FFmpeg音视频解码篇1,...原创 2020-06-03 17:01:43 · 455 阅读 · 0 评论 -
Android音视频播放:音视频同步
目录一、Android音视频硬解码篇:1,音视频基础知识 2,音视频硬解码流程 3,音视频播放:音视频同步 4,音视频解封和封装:生成一个MP4二、使用OpenGL渲染视频画面篇1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO数据缓冲区 6,Android音视频硬编码:生成一个MP4三、Android FFmpeg音视频解码篇1,FFmpeg so...原创 2020-06-03 16:27:57 · 878 阅读 · 0 评论 -
Android 音视频开篇:基础知识(硬解码)
目录一、Android音视频硬解码篇:1,音视频基础知识 2,音视频硬解码流程:封装基础解码框架 3,音视频播放:音视频同步 4,音视频解封和封装:生成一个MP4二、使用OpenGL渲染视频画面篇1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO数据缓冲区 6,Android音视频硬编码:生成一个MP4三、Android FFmpeg音视频解码篇1,...原创 2020-06-02 17:53:38 · 1161 阅读 · 0 评论 -
音视频篇 - OpenGL ES 2.0的简介
今天开始正式的 Android 音视频技术的学习,根据前面的分析,先来学习图片相关的处理 - OpenGL ES 2.0。OpenGL ES 简介OpenGL (全写 Open Graphics Library) 是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像 (二维的亦可),是一个功能强大,调用方便的底层图形库。OpenGL 在不同的平台上有不同的实现,但是它定义好了专业的程序接口,不同的平台都是遵照该接口来进行实现的,思想完全相同,方法名也是一致的,所原创 2020-06-01 19:55:34 · 545 阅读 · 0 评论 -
音视频篇 - Android 图像处理技术简介
关于 Android 的音视频,也可以叫做多媒体,分成图像、声音和视频。我们先从最基本的图像入手,图像分成 2D 和 3D,Android 自身也提供了很多 API 来实现图像的功能。对于 Android 的图像内存优化,可以看我之前的这篇文章:Android应用篇 - 最全图片相关的优化。YUV 简介1. YUV 简介YUV 是一种颜色编码方法,常使用在各个视频处理组件中。 YUV 在对照片或视频编码时,考虑到人类的感知能力,允许降低色度的带宽。YUV 是编译 true-color 颜色空原创 2020-06-01 18:03:29 · 522 阅读 · 0 评论 -
Android 音视频涉及到的技术简介
前言现在市面上的图像,音视频软件越来越多,最近两年也是直播,短视频的红利期。而图像、音视频一直是互联网视觉的入口,掌握并熟练运用音视频、图像技术已经是当前互联网时代不可或缺的技能,而且这个技能是具有沉淀性质的。目前市面上的学习资料参差不齐,我觉得想要开启音视频的学习之路,先得了解整体流程上会涉及的技术点,再一个个击破。我也是音视频方面的小白,最近公司要做一个视频换脸的应用,目前处于技术调研期。趁此空档,我准备开始我的音视频学习之路。音视频 app图像类:音频类:...原创 2020-06-01 16:36:30 · 263 阅读 · 0 评论 -
音频的相关基础知识,这里有
前言在讲解音频渲染之前,需要对音频的基础知识有所了解,所以该篇分为基础概念和AudioTrack 以及 OpenSL ES Demo 实例讲解,这样有助于更好的理解 Android 中音频渲染。音频的基础概念涉及的知识点比较多,该篇文章的上半部分会详细的介绍,后续文章基本上都会涉及音频的开发,有了基础对于后面的内容就更容易上手了。音频的基础知识声音的物理性质声音是波 说到...原创 2020-04-30 19:34:47 · 992 阅读 · 0 评论