《android多媒体api》系列是整合梳理android开发中经常用到的媒体相关api;多媒体开发主要内容有音频、视频录制播放、摄像头操作、录制操作、流媒体、直播、推流、拉流等方面;最近几年移动直播和视频应用发展犹如雨后春笋一般直插云霄,呃。。好吧这段比喻可以不用看了!!,反正行业兴起肯定催生了很多多媒体相关应用开发程序员。那么怎样才能成为多媒体开发程序员,首先必须要熟练使用和了解android自带的多媒体api,并且还要掌握pcm、yuv、rgb、h264、aac、flv、mpegts、mp4、udp、rtp、rtmp等等众多文件格式和流媒体协议等等。所以这里整理android相关多媒体api,提供给想从事流媒体同学作为参照,同样还是要鸣谢网络上那些具有分享精神大神们!!
####基本概念:
- 视频播放:demuxer(解复用)->分离出音频流和视频流->decoder(解码)->播放原始数据(例如:pcm yuv)
- 视频录制:采集原始数据(例如:pcm yuv)->encoder(编码)->muxer(封装格式 例如:mp4 3gp)
- 流媒体协议:udp、rtp、rtmp、rtcp、rtsp等
- 音视频封装格式:mp4 、3gp、flv等
- 音视频编码格式:aac、amr、h264、h265等
- 原始音视频数据格式:pcm 、yuv、rgb等
流程图:
####文章目录:
- VideoView 视频播放控件
- camera配合surface预览相机画面和拍照
- MediaPlayer自定义视频播放器
- MediaRecorder音视频录制api
- AudioTrack原始音频pcm播放api
- AudioRecord原始音频pcm采集api
MediaRecorder是什么?
MediaPlayer类主要用于音频视频录制的api。现在有很多短视频app非常火爆,所以了解视频录制api是非常重要的,android自带多媒体录制api都是在硬编码(依靠硬件驱动编码)基础上进行封装,所以如果要达到专业级别的短视频应用开发工程师还要了解如何前置处理pcm 、jpg等处理算法。
首先视频音频录制是属于用户敏感信息,所以使用之前一定要申请权限:
<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
这里构建一个demo app,使用mediarecorder api 录制mp4 视频文件,使用surfaceview 控件进行预览。
####效果图:
#####MediaRecorder api方法:
final static int getAudioSourceMax()
获取音频源的最大值。
int getMaxAmplitude()
获取在前一次调用此方法之后录音中出现的最大振幅。
void prepare()
准备录制。
void release()
释放资源。
void reset()
将MediaRecorder设为空闲状态,即Initial状态。
void setAudioChannels(int numChannels)
设置录制的音频通道数。
void setAudioEncoder(int audio_encoder)
设置所录制的声音的编码格式。
void setAudioEncodingBitRate(int bitRate)
设置所录制的声音的编码位率。
void setAudioSamplingRate(int samplingRate)
设置所录制的声音的采样率。
void setAudioSource(int audio_source)
设置声音来源,一般传入 MediaRecorder. AudioSource.MIC参数指定录制来自麦克风的声音。
void setCamera(Camera c)
设置一个摄像头用于录制。
void setCaptureRate(double fps)
设置视频帧捕获率。
void setLocation(float latitude, float longitude)
设置并存储在输出文件中的地理数据(经度和纬度)。
void setMaxDuration(int max_duration_ms)
设置录制会话的最长持续时间(以ms为单位)。
void setMaxFileSize(long max_filesize_bytes)
设置录制文件的最大文件大小。
void setOnErrorListener(MediaRecorder.OnErrorListener l)
注册一个用于记录录制时出现的错误的监听器。
void setOnInfoListener(MediaRecorder.OnInfoListener listener)
注册一个用于记录录制时出现的信息事件。
void setOrientationHint(int degrees)
设置输出的视频播放的方向提示。
void setOutputFile(FileDescriptor fd)
设置录制的音频文件的保存位置。
void setOutputFile(String path)
设置录制的音频文件的保存位置。
void setOutputFormat(int output_format)
设置所录制的音视频文件的格式。
void setPreviewDisplay(Surface sv)
设置使用哪个SurfaceView来显示视频预览。
void setProfile(CamcorderProfile profile)
指定CamcorderProfile对象。
void setVideoEncoder(int video_encoder)
设置所录制视频的编码格式。
void setVideoEncodingBitRate(int bitRate)
设置所录制视频的编码位率。
void setVideoFrameRate(int rate)
设置录制视频的捕获帧速率。
void setVideoSize(int width, int height)
设置要拍摄的宽度和视频的高度。
void setVideoSource(int video_source)
设置用于录制的视频来源。
void start()
开始录制。
void stop()
停止录制。
####基于MediaRecorder实现自定义录像机:
xml布局文件:
<?xml version="1.0" encoding="utf-8"?>
<FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="fill_parent"
android:layout_height="fill_parent">
<SurfaceView
android:id="@+id/surfaceView1"
android:layout_width="fill_parent"
android:layout_height="fill_parent"/>
<LinearLayout
android:layout_width="wrap_content"
android:layout_gravity="bottom|center_horizontal"
android:layout_height="wrap_content"
android:orientation="horizontal">
<Button
android:onClick="onClick"
android:id="@+id/start_btn"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:text="开始录制"/>
<Button
android:onClick="onClick"
android:layout_marginLeft="80dp"
android:id="@+id/btnStop"
android:layout_width="80dip"
android:layout_height="wrap_content"
android:text="停止录制"/>
</LinearLayout>
</FrameLayout>
java代码:
package com.jared.helloffmpeg;
import android.app.Activity;
import android.content.pm.ActivityInfo;
import android.media.MediaRecorder;
import android.os.Bundle;
import android.os.Environment;
import android.support.annotation.Nullable;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import android.view.View;
import android.widget.Toast;
public class RecordMP4Push extends Activity implements View.OnClickListener, SurfaceHolder.Callback {
private SurfaceView surfaceView;
private MediaRecorder mediaRecorder;
@Override
protected void onCreate(@Nullable Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);
setContentView(R.layout.record_aac_and_pcm);
surfaceView=findViewById(R.id.surfaceView1);
surfaceView.getHolder().addCallback(this);
}
@Override
public void onClick(View view) {
if (view.getId()==R.id.start_btn)
{
if (mediaRecorder!=null)
return;
// 刻录按钮
try {
mediaRecorder=new MediaRecorder();
mediaRecorder.setAudioSource(MediaRecorder.AudioSource.MIC);
mediaRecorder.setVideoSource(MediaRecorder.VideoSource.CAMERA);
mediaRecorder.setOutputFormat(MediaRecorder.OutputFormat.THREE_GPP);
mediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);
mediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.H264);
mediaRecorder.setOutputFile(Environment.getExternalStorageDirectory().getAbsolutePath()+"/"+System.currentTimeMillis()+".3gp");
mediaRecorder.setPreviewDisplay(surfaceView.getHolder().getSurface());
mediaRecorder.prepare();
mediaRecorder.start();
Toast.makeText(getApplicationContext(), "录像", Toast.LENGTH_SHORT).show();
} catch (Exception e) {
Toast.makeText(getApplicationContext(), e.getMessage(), Toast.LENGTH_SHORT).show();
}
}
if (view.getId()==R.id.btnStop)
{
if (mediaRecorder==null)
return;
mediaRecorder.stop();
mediaRecorder.release();
mediaRecorder=null;
Toast.makeText(getApplicationContext(), "停止录像", Toast.LENGTH_SHORT).show();
}
}
@Override
public void surfaceCreated(SurfaceHolder surfaceHolder) {
}
@Override
public void surfaceChanged(SurfaceHolder surfaceHolder, int i, int i1, int i2) {
}
@Override
public void surfaceDestroyed(SurfaceHolder surfaceHolder) {
}
}