Android学习趋势:讲一下音视频热点知识,HTTPS面试常问全解析

  • AAC

  • WMA

  • ADPCM

  • ATRAC

  • Dolby AC-3

  • Musepack

  • Ogg Vorbis

  • Opus

  • LDAC

视频


说完音频,我们来说说视频,首先得说说视频是什么?我们都知道视频是由一帧一帧联系图像构成的,所以再介绍视频之前,先得了解一下什么是图像?

图像

我们从小学习物理知识就知道,通过三菱镜就可以将光色散成不同的颜色,经过进一步研究发现,只有红®、绿(G)、蓝(B)不能被分解,所以它们被称为光的三原色。

一般我们买手机的时候会参考它的分辨率,当然是分辨率越大越好,因为越大越清晰,更接近事物的原始样貌,那这是为什么呢?

其实为了让人能够在手机上感知图像,也采用了这样的RGB模式。以“1080x1920”为例,那就是每一个横向就有1080个像素点,纵向有1920个像素点,那总共就有1080x1920=2073600个像素。每一个像素又包含了红®、绿(G)、蓝(B)三个子像素,这样每个像素就可以有自己的全部颜色呈现。

图像表示

我们知道红®、绿(G)、蓝(B)都可以使用00~FF或者0~255表示,由上面我们知道8比特刚好可以表示0~255,一个像素又包含了红®、绿(G)、蓝(B)三个子像素,那一个像素至少需要24位,我们一般还要给颜色加上一个不透明度(A),所以一个像素其实是32位,这种表示方式就是我们常用的RGBA_8888,那如果一张图片要在上面分辨率的手机上全屏展示出来需要多大的空间呢?

108019204 = 8294400b = 8100kb = 7.91Mb

这也是位图(bitmap)在内存中所占用的大小,每一张图像的裸数据都是很大的,所以在手机上如果直接加载bitmap的话,很快就会内存溢出。所以如果让图像直接在网络上行走的话肯定是不行的,一般都会进行一个压缩,常见的压缩格式有:

  • BMP - 无损压缩

  • PNG - 无损压缩

  • JPEG - 有损压缩

这是就是为什么在制作小图(比如icon)的时候使用png格式,而大图采用jpeg的原因,小图经过无损压缩放大之后不让其太过模糊,大图保证其能够清晰即可。

视频表示

视频的裸数据我们一般使用YUV来进行表示,YUV也是一种颜色编码方式,为什么不使用RGB呢?与RGB视频信号传输相比,它最大的优点在于只需要占用极少的频宽(RGB要求三个独立的视频信号同时传输)

“Y”表示明亮度(Luminance、Luma),也称灰阶值;“U”和“V”则是色度,它们的作用是描述影像的色彩及饱和度,用于指定像素的颜色。如果忽略掉UV,那就是只剩下灰(Y),那就跟以前黑白电视机信号一样了,所以YUV的发明了是为了从黑白电视过渡彩色电视而发明的。

UV又由Cb和Cr来描述,Cb反映的则是RGB输入信号蓝色部分与RGB信号亮度值之间的差异,而Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。UV信号告诉了显示器使得某个颜色亮度依某个基准偏移, UV的值越高,代表该像素会有更饱和的颜色。

为节省带宽起见,大多数YUV格式平均使用的每像素位数都少于24位。主要的抽样(subsample)格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4。YUV的表示法称为A:B:C表示法:

  • 4:4:4表示完全取样,与RGB类似

  • 4:2:2表示2:1的水平取样,垂直完全采样。

  • 4:2:0表示2:1的水平取样,垂直2:1采样。

  • 4:1:1表示4:1的水平取样,垂直完全采样。

我们再对1080x1920手机上展示视频一帧的数据量大小如下:

| YUV格式 | 大小 (1080x1920分辨率) |

| — | — |

| 444 | 1080* 1920* 3=6220800b = 6075 kb = 5.93Mb |

| 422 | 1080* 1920* (1+0.5+0.5) = 4147200 b = 4050 kb = 3.96Mb |

| 420 | 1080* 1920* (1+0.5+0) = 3110400 b = 3037.5 kb = 2.97Mb |

| 411 | 1080* 1920* (1+0.25+0.25) = 3110400 b = 3037.5 kb = 2.97Mb |

从上图中我们可以看到,如果使用YUV420一帧会比直接使用RGB少了近3M,这也就是为什么使用YUV而不是用RGB的主要原因。

需要注意点是一般视频都是使用的YUV4:2:0,YUV4:2:0并不是说只有U(即Cb), V(即Cr)一定为0,而是指U:V互相援引,时见时隐,也就是说对于每一个行,只有一个U或者V分量,如果一行是4:2:0的话,下一行就是4:0:2,再下一行是4:2:0…以此类推。

怎么让YUV转化成RGB数据在手机上呈现呢?这就需要一个转化公式了

到此我们就知道视频是怎么回事了,视频的是由一帧一帧图像组成,一帧图像又是由YUV裸数据组成,而YUV裸数据是可以与RGB互相转化的,最终呈现在手机上的是转化后的RGB。

视频编码

在介绍编码之前,我们先介绍两个概念:

  • 帧率(fps) - 测量单位时间(s)显示的帧数,一般视频中使用24fps就可以了。对于游戏来讲,如果帧率少于30fps就会出现不连贯,也就是我们平常说的卡顿。

  • 比特率 - 测量单位时间(s)数据量大小。

我们就可以计算一下在1080* 1920的手机上播放YUV420视频数据的比特率:

bitRate = 1080* 1920* (1+0.5+0)* 24 = 71.2 Mbps

还可以得出90分钟电影数据量:

total = bitRate * 60 * 90 = 375.42 GB

这对于我们来说是肯定不能接受的,所以就必须对其进行编码,跟音频编码类似,一般采用压缩编码,不然就没得玩咯~

与音频编码不同,视频数据之间有很强的关联性,也就是由大量的冗余信息,包括时间上的冗余信息和空间上的冗余信息。

  • 时间上的冗余信息(temporal redundancy)- 在视频数据中,相邻的帧(frame)与帧之间通常有很强的关连性,这样的关连性即为时间上的冗余信息。

  • 空间上的冗余信息(spatial redundancy)- 在同一张帧之中,相邻的像素之间通常有很强的关连性,这样的关连性即为空间上的冗余信息。

现在常见的视频编码有两个系列:

  • MPEG系列 - 包括 Mpeg1(用于VCD)、Mpeg2(用于DVD)、Mpeg4 AVC(现在流媒体使用最多的就是它了)

  • H.26x系列 - 包括 H.261、H.262、H.263、H.264(现在视频使用的最多就是它了)

IPB帧

MPEG定义了I帧、P帧、B帧,并根据不同帧实现了不同的压缩算法

  • I帧 - 帧内编码帧,就是通过压缩算法压成一张单独的完整视频画面,也是一组的第一帧,所以I帧去掉的是视频帧在空间维度上的冗余信息。

  • P帧 - 前向预测编码帧,需要参考其前面的一个I帧或者P帧来解码成一张完整的视频画面 。

  • B帧 - 双向预测内插编码帧,需要参考其前一个I帧或者P帧及其后面的一个P帧来生成一张完整的视频画面,所以P帧与B帧去掉的是视频帧在时间维度上的冗余信息。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip204888 (备注Android)
img

如何成为Android高级架构师!

架构师必须具备抽象思维和分析的能力,这是你进行系统分析和系统分解的基本素质。只有具备这样的能力,架构师才能看清系统的整体,掌控全局,这也是架构师大局观的形成基础。 你如何具备这种能力呢?一是来自于经验,二是来自于学习。

架构师不仅要具备在问题领域上的经验,也需要具备在软件工程领域内的经验。也就是说,架构师必须能够准确得理解需求,然后用软件工程的思想,把需求转化和分解成可用计算机语言实现的程度。经验的积累是需要一个时间过程的,这个过程谁也帮不了你,是需要你去经历的。

但是,如果你有意识地去培养,不断吸取前人的经验的话,还是可以缩短这个周期的。这也是我整理架构师进阶此系列的始动力之一。


成为Android架构师必备知识技能

对应导图的学习笔记(由阿里P8大牛手写,我负责整理成PDF笔记)

部分内容展示

《设计思想解读开源框架》

  • 目录
  • 热修复设计
  • 插件化框架设计

    《360°全方面性能优化》
  • 设计思想与代码质量优化
  • 程序性能优化

本文已被CODING开源项目:《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!**](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值