Android Multimedia Framework 架构--base on jellybean（二）

于 2017-06-13 14:09:10 发布
阅读量188 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangshh03/article/details/73176513
版权
转载
转载请注明出处：太妃糖出品。哈哈

      我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来....

一：多媒体简介

     为啥要讲多媒体的概念呢？可能很多人都对这个名称解释不怎么了解，所以在这普及普及。

     媒体（Media）就是人与人之间实现信息交流的中介，简单地说，就是信息的载体，也称为媒介。多媒体是计算机和视频技术的结合，实际上它是两个媒体；声 音和图像，或者用现在的术语：音响和电视。多媒体本身有两个方面，和所有现代技术一样它是由硬件和软件，或机器和思想混合组成。可以将多媒体技术和功能在 概念上区分为控制系统和信息。多媒体之所以能够实现是依靠数字技术。多媒体代表数字控制和数字媒体的汇合，电脑是数字控制系统，而数字媒体是当今音频和视 频最先进的存储和传播形式。事实上有人就简单地认为多媒体是电脑和电视的结合。电脑的能力达到实时处理电视和声音数据流的水平，这时多媒体就诞生了。

二：android多媒体框架演变历史

       android 的多媒体框架从android诞生以来，发生了天翻地覆的变化，包括引擎的更改，单独处理流媒体的播放器nuplayer的加入，到最新 jellybean（android4.1）nuplayer逐步加入stagefrightplayer的功能，可能以后stagefight引擎会被 nuplayer取代，那都是后话了。但是openomx（即引擎连接codec的纽带）一直都得到了保持。

       在Froyo2.2 以前，multimedia framework 的引擎是一直都是opencore，但为啥用stagefright替代呢，由于我没有开发过opencore，不便下结论，但从网上一些言论来看，估计 是opencore太过庞大，不太好维护，具体真正原因就得问google了，如果你知道具体原因，可以给我留言，在此多谢了！

       Gingerbread  android2.3，加入了真正的支持流媒体的播发器nuplayer，如果你下有源码，可以用gitk \nuplayer，从gitk可以看到如下提交：Initial support for a true streaming player for mpeg2 transport streams. 2010.12。

      android 3.0 到android 4.0 ，总体框架没有多大变化。

      android4.1 (jellybean) 最大的变化是给c/c++部分的多媒体框架单独设立了一个framework/av的目录，给它开辟了一个git库，即从framework/base下的git库分离了出来，总算给多媒体找了个港湾。 

三：jellybean多媒体架构

        multimedia framework 架构 由三大部分构成：供上层程序调用的java API，连接java和C/C++的jni部分，多媒体引擎（stagefright）和codec接口（openmax interface）。前面两部代码在framework/base/media 下，后一部分在framework/av文件夹下。如果你修改的是java API接口或加LOG后编译可以用如下命令：make framework ，JNI 部分 make media_jni，第三部分有三个libs组成：libmedia ，libmediaplayerservice, libstagefright,命令如下 make media ，make stagefright ， make mediaplayerservice. 生成各自的.so文件，用adb push 到system/下就可以调试了。记得重启！讲了好多废话，还是没有看到总体架构，罪过，好吧，上图，更直观。

 

     

 

 

 

 

     

      从上两图，我们可以发现上层APK要播放视频，首先得获得一个player，而这个player的类型根据你媒体文件的类型来决定的，分配的任务由 mediaplayerservice来完成，除了获得player外最主要的是到底选用哪种编码器进行编解码，这个过程由awesomeplayer和 omxcodec来完成，至于声音和图像就交由audioflinger和surfaceflinger来完成了。具体的调用实现，下一篇videoplayerback将会慢慢讨论和学习。

王世宏
关注
MLT Multimedia Framework-开源
05-25
1. **模块化设计**：MLT采用模块化架构，各个组件可以独立开发和升级，增强了框架的灵活性和可维护性。用户可以根据需求选择合适的模块进行组合，实现特定的功能。 2. **实时处理**：MLT支持实时视频处理，这对于...
①Android NuPlayer播放框架
weixin_33912445的博客
09-28 496
[时间：2016-09] [状态：Open] [关键词：android，nuplayer，开源播放器，播放框架，nuplayerdriver] 0 NuPlayer简介 Android2.3时引入流媒体框架，而流媒体框架的核心是NuPlayer。在之前的版本中一般认为Local Playback就用Stagefrightplayer+Awesomeplayer，流媒体用NuPlayer。Andro...
Android Multimedia Framework 架构--base on jellybean
11-21 1265
原文：http://www.cnblogs.com/alextang/archive/2012/08/29/2661432.html 我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来.... 一
Android Multimedia Framework 架构--base on jellybean（二） .
pengjin1985的专栏
01-09 720
[-] 一多媒体简介二android多媒体框架演变历史三jellybean多媒体架构 转载请注明出处：太妃糖出品。哈哈       我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来....
Android Multimedia Framework 架构--base on jellybean（一）
苍穹下的雄鹰
01-06 869
我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来.... 一：多媒体简介      为啥要讲多媒体的概念呢？可能很多人都对这个名称解释不怎么了解，所以在这普及普及。      媒体（M
Android Multimedia Framework 架构--base on jelly...
秦时明月
04-19 1129
我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来.... 一：多媒体简介      为啥要讲多媒体的概念呢？可能很多人都对这个名称解释不怎么了解，所以在这普及普及。      媒体
Android Multimedia Framework overview（多媒体框架概述）--base on jellybean（一）
U201315012的博客
08-29 105
不知为啥今晚突然脑海中闪现出一个念头：写博客！原因有二，其一就是记录下自己的学习所得，巩固自己的知识，温故而知新吧，以前都是光看光想，都没有记录，而且不写下来，领悟估计就差点了，好记忆不如烂笔头啊！其二就是为自己的码农生涯留点纪念，以后也可以给孩子看看自己老爸写的文章！虽说写得不咋地 csdn的博客好久没有更新博文了，今天一进来竟然都有1W多的总访问量，让我很是诧异！...
libuta - a c++ multimedia framework-开源
05-10
libuta是用于开发多媒体应用程序（尤其是游戏）的C ++框架。 由于它基于SDL（http://www.devolution.com/~slouken/SDL），因此它是独立于平台的，尽管仅在Win32和LinuX系统上进行了测试。
android multimedia framework overview
08-31
android多媒体框架概述（高通），主要包括MediaCodec、MediaCodec Call Flows、NuPlayer、ExoPlayer、MediaRecorder、MediaRecorder Call Flow
JSP学生学籍管理系统设计与实现(源代码+论文+开题报告+外文翻译+答辩PPT).zip
09-21
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。
省市区数据，完成三级联动，选择地区
09-21
省市区数据，完成三级联动，选择地区
机械原理课程设计网球自动捡球机.doc
最新发布
09-21
机械原理课程设计网球自动捡球机.doc
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
09-21
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
借助于Ascend310 AI处理器完成深度学习算法部署任务，
09-21
应用背景为变电站电力巡检，基于YOLO v4算法模型对常见电力巡检目标进行检测，并充分利用Ascend310提供的DVPP等硬件支持能力来完成流媒体的传输、处理等任务，并对系统性能做出一定的优化。.zip深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
基于深度学习的物体识别与抓取方法，六自由度机械臂，python编写程序.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
电子设计论文文档资料液面检测器电子设计论文文档资料液面检测器
09-21
电子设计论文文档资料液面检测器电子设计论文文档资料液面检测器
基于深度学习的多特征电力负荷预测.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
深入解析Android多媒体架构
"Android多媒体架构分析" 本文档详细分析了Android系统的多媒体架构，涵盖了从源代码位置到各个关键组件的功能及交互过程。以下是该多媒体架构的关键点： 1. **概述** Android多媒体架构是一个复杂的系统，它负责...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值