安卓MediaCodec支持的音视频格式
视频格式
public static final String MIMETYPE_VIDEO_VP8 = "video/x-vnd.on2.vp8";
public static final String MIMETYPE_VIDEO_VP9 = "video/x-vnd.on2.vp9";
public static final String MIMETYPE_VIDEO_AV1 = "video/av01";
public static final String MIMETYPE_VIDEO_AVC = "video/avc";
public static final String MIMETYPE_VIDEO_HEVC = "video/hevc";
public static final String MIMETYPE_VIDEO_MPEG4 = "video/mp4v-es";
public static final String MIMETYPE_VIDEO_H263 = "video/3gpp";
public static final String MIMETYPE_VIDEO_MPEG2 = "video/mpeg2";
public static final String MIMETYPE_VIDEO_RAW = "video/raw";
public static final String MIMETYPE_VIDEO_DOLBY_VISION = "video/dolby-vision";
public static final String MIMETYPE_VIDEO_SCRAMBLED = "video/scrambled";音频格式
public static final String MIMETYPE_AUDIO_AMR_NB = "audio/3gpp";
public static final String MIMETYPE_AUDIO_AMR_WB = "audio/amr-wb";
public static final String MIMETYPE_AUDIO_MPEG = "audio/mpeg";
public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";
public static final String MIMETYPE_AUDIO_QCELP = "audio/qcelp";
public static final String MIMETYPE_AUDIO_VORBIS = "audio/vorbis";
public static final String MIMETYPE_AUDIO_OPUS = "audio/opus";
public static final String MIMETYPE_AUDIO_G711_ALAW = "audio/g711-alaw";
public static final String MIMETYPE_AUDIO_G711_MLAW = "audio/g711-mlaw";
public static final String MIMETYPE_AUDIO_RAW = "audio/raw";
public static final String MIMETYPE_AUDIO_FLAC = "audio/flac";
public static final String MIMETYPE_AUDIO_MSGSM = "audio/gsm";
public static final String MIMETYPE_AUDIO_AC3 = "audio/ac3";
public static final String MIMETYPE_AUDIO_EAC3 = "audio/eac3";
public static final String MIMETYPE_AUDIO_EAC3_JOC = "audio/eac3-joc";
public static final String MIMETYPE_AUDIO_AC4 = "audio/ac4";
public static final String MIMETYPE_AUDIO_SCRAMBLED = "audio/scrambled";由于mp3的编码格式是有版权的，且实现不一，安卓原生没有给我们提供，所以我们安卓原生硬编解码使用最多的是mp4+aac的封装格式
本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓
PCM编码成AAC
上一节中我们已经通过MediaCodec将AAC解码成了pcm并保存到了sd卡中，现在我们将pcm通过io流读取出来，再放入到MediaCodec中重新编码成aac文件
构建编码类型的MediaCodec
/*
*手动构建编码Format,参数含义：mine类型、采样率、通道数量
*设置音频采样率，44100是目前的标准，但是某些设备仍然支持22050，16000，11025
*/
MediaFormat encodeFormat = MediaFormat.createAudioFormat("audio/mp4a-latm", 44100, 2);
encodeFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);
//比特率 声音中的比特率是指将模拟声音信号转换成数字声音信号后，单位时间内的二进制数据量，是间接衡量音频质量的一个指标
encodeFormat.setInteger(MediaFormat.KEY_BIT_RATE, AudioFormat.ENCODING_PCM_16BIT);
//最大的缓冲区大小，如果inputBuffer大小小于我们定义的缓冲区大小，可能报出缓冲区溢出异常
encodeFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, 1024 * 8 * 8);
//构建编码器
encodeCodec = MediaCodec.createEncoderByType("audio/mp4a-latm");
//数据格式，surface用来渲染解析出来的数据;加密用的对象；标志 encode ：1 decode：0
encodeCodec.configure(encodeFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);依旧是通过同步的方式来构建，具体流程上节已经说到，即开启while循环，在循环中
dequeueInputBuffer -> queueInputBuffer填充数据 -> dequeueOutputBuffer -> releaseOutputBuffer显示画面
我们的pcm流编码成aac流之后，还要添加ADTS头部才能播放；整体代码如下：
/**
* 将decode出来的pcm数据重新编码成aac格式,通过FileOutputStream写需要添加ADTS头部
* mime：用来表示媒体文件的格式 mp3为audio/mpeg；aac为audio/mp4a-latm；mp4为video/mp4v-es
*/
public class EncodeAACThread extends Thread {
private Context context;
private File pcmFile, newAACFile;
private boolean hasAudio = true;
private FileOutputStream fos = null;
private FileInputStream fis = null;
private MediaCodec encodeCodec;
public EncodeAACThread(Demo5Activity demo5Activity) {
context = demo5Activity;
pcmFile = new File(context.getExternalFilesDir(Environment.DIRECTORY_MUSIC), "demo5.pcm");
newAACFile = new File(context.getExternalFilesDir(Environment.DIRECTORY_MUSIC), "newAAC.aac");
if (!pcmFile.exists()) {
Toast.makeText(context, "请先解码数据再重新编码！", Toast.LENGTH_LONG).show();
return;
}
try {
newAACFile.createNewFile();
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void run() {
super.run();
if (!pcmFile.exists()) {
return;
}
try {
//pcm文件获取
fis = new FileInputStream(pcmFile);
fos = new FileOutputStream(newAACFile);
/*
*手动构建编码Format,参数含义：mine类型、采样率、通道数量
*设置音频采样率，44100是目前的标准，但是某些设备仍然支持22050，16000，11025
*/
MediaFormat encodeFormat = MediaFormat.createAudioFormat("audio/mp4a-latm", 44100, 2);
encodeFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);
//比特率 声音中的比特率是指将模拟声音信号转换成数字声音信号后，单位时间内的二进制数据量，是间接衡量音频质量的一个指标
encodeFormat.setInteger(MediaFormat.KEY_BIT_RATE, AudioFormat.ENCODING_PCM_16BIT);
//最大的缓冲区大小，如果inputBuffer大小小于我们定义的缓冲区大小，可能报出缓冲区溢出异常
encodeFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, 1024 * 8 * 8);
//构建编码器
encodeCodec = MediaCodec.createEncoderByType("audio/mp4a-latm");
//数据格式，surface用来渲染解析出来的数据;加密用的对象；标志 encode ：1 decode：0
encodeCodec.configure(encodeFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
MediaCodec.BufferInfo encodeBufferInfo = new MediaCodec.BufferInfo();//用于描述解码得到的byte[]数据的相关信息
//启动编码
encodeCodec.start();
/*
* 同步方式，流程是在while中
* dequeueInputBuffer -> queueInputBuffer填充数据 -> dequeueOutputBuffer -> releaseOutputBuffer显示画面
*/
boolean hasAudio = true;
byte[] pcmData = new byte[1024 * 8 * 8];
while (true) {
//所有的猪都运进猪厂后不再添加
if (hasAudio) {
//从猪肉工厂获取装猪的小推车，填充数据后发送到猪肉工厂进行处理
ByteBuffer[] inputBuffers = encodeCodec.getInputBuffers();//所有的小推车
int inputIndex = encodeCodec.dequeueInputBuffer(0);//返回当前可用的小推车标号
if (inputIndex != -1) {
Log.i(LOG_TAG, "找到了input 小推车" + inputIndex);
//将MediaCodec数据取出来放到这个缓冲区里
ByteBuffer inputBuffer = inputBuffers[inputIndex];//拿到小推车
inputBuffer.clear();//扔出去里面旧的东西
//将pcm数据装载到小推车里面
int size = fis.read(pcmData);
//audioExtractor没猪了，也要告知一下
if (size < 0) {
Log.i(LOG_TAG, "当前pcm已经读取完了");
encodeCodec.queueInputBuffer(inputIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
hasAudio = false;
} else {//拿到猪
inputBuffer.limit(size);
inputBuffer.put(pcmData, 0, size);
Log.i(LOG_TAG, "读取到了音频数据，当前音频数据的数据长度为：" + size);
/* int pts = inc++ * presentationTimeUs;
Log.i(LOG_TAG, "当前时间戳计算为：" + pts);*/
//告诉工厂这头猪的小推车序号、猪的大小、猪在这群猪里的排行、屠宰的标志
encodeCodec.queueInputBuffer(inputIndex, 0, size, 0, 0);
}
} else {
Log.i(LOG_TAG, "没有可用的input 小推车");
}
}
//工厂已经把猪运进去了，但是是否加工成火腿肠还是未知的，我们要通过装火腿肠的筐来判断是否已经加工完了
int outputIndex = encodeCodec.dequeueOutputBuffer(encodeBufferInfo, 0);//返回当前筐的标记
switch (outputIndex) {
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
Log.i(LOG_TAG, "输出的format已更改" + encodeCodec.getOutputFormat());
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
Log.i(LOG_TAG, "超时，没获取到");
break;
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
Log.i(LOG_TAG, "输出缓冲区已更改");
break;
default:
Log.i(LOG_TAG, "获取到编码后的数据了，当前解析后的数据长度为：" + encodeBufferInfo.size);
//获取所有的筐
ByteBuffer[] outputBuffers = encodeCodec.getOutputBuffers();
//拿到当前装满火腿肠的筐
ByteBuffer outputBuffer;
if (Build.VERSION.SDK_INT >= 21) {
outputBuffer = encodeCodec.getOutputBuffer(outputIndex);
} else {
outputBuffer = outputBuffers[outputIndex];
}
//将火腿肠放到新的容器里，便于后期装车运走
int outPacketSize = encodeBufferInfo.size + 7;//aac编码中需要ADTS头部，大小为7
byte[] newAACData = new byte[outPacketSize];
addADTStoPacket(newAACData, outPacketSize);//添加ADTS
//从ADTS后面开始插入编码后的数据
outputBuffer.get(newAACData, 7, encodeBufferInfo.size);//写入到字节数组中
outputBuffer.position(encodeBufferInfo.offset);
outputBuffer.clear();//清空当前筐
//装车
fos.write(newAACData);//数据写入mp3文件中
fos.flush();
//把筐放回工厂里面
encodeCodec.releaseOutputBuffer(outputIndex, false);
break;
}
if ((encodeBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
Log.i(LOG_TAG, "表示当前编解码已经完事了");
break;
}
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (encodeCodec != null) {
encodeCodec.stop();
encodeCodec.release();
}
if (fis != null) {
try {
fis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (fos != null) {
try {
fos.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
/**
* 添加ADTS头
*/
private void addADTStoPacket(byte[] packet, int packetLen) {
int profile = 2; // AAC LC
int freqIdx = 4; // 44.1KHz
int chanCfg = 2; // CPE
// fill in ADTS data
packet[0] = (byte) 0xFF;
packet[1] = (byte) 0xF9;
packet[2] = (byte) (((profile - 1) << 6) + (freqIdx << 2) + (chanCfg >> 2));
packet[3] = (byte) (((chanCfg & 3) << 6) + (packetLen >> 11));
packet[4] = (byte) ((packetLen & 0x7FF) >> 3);
packet[5] = (byte) (((packetLen & 7) << 5) + 0x1F);
packet[6] = (byte) 0xFC;
}
}通过MediaMuxer来输出AAC
此种方式不用我们手动添加ADTS头，使用MediaMuxer自动帮我们填充，但是由于MediaFormat是我们手动创建的，在MediaMuxer调用stop时会报错，所以我暂时在MediaCodec更换Format时对MdieaMuxer设置;这种方法总之不太靠谱，只是记录一下
/**
* 将decode出来的pcm数据重新编码成aac格式,不通过FileInputStream写，通过MediaMuxer写出，不需要自己添加ADTS
* mime：用来表示媒体文件的格式 mp3为audio/mpeg；aac为audio/mp4a-latm；mp4为video/mp4v-es
*/
public class EncodeAACThreadV2 extends Thread {
private Context context;
private File pcmFile, newAACFile;
private boolean hasAudio = true;
private MediaMuxer audioMuxer = null;
private FileInputStream fis = null;
private MediaCodec encodeCodec;
public EncodeAACThreadV2(Demo5Activity demo5Activity) {
context = demo5Activity;
pcmFile = new File(context.getExternalFilesDir(Environment.DIRECTORY_MUSIC), "demo5.pcm");
newAACFile = new File(context.getExternalFilesDir(Environment.DIRECTORY_MUSIC), "newAAC2.aac");
if (!pcmFile.exists()) {
Toast.makeText(context, "请先解码数据再重新编码！", Toast.LENGTH_LONG).show();
return;
}
try {
newAACFile.createNewFile();
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void run() {
super.run();
try {
//pcm文件获取
fis = new FileInputStream(pcmFile);
audioMuxer = new MediaMuxer(newAACFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
/*
*手动构建编码Format,参数含义：mine类型、采样率、通道数量
*设置音频采样率，44100是目前的标准，但是某些设备仍然支持22050，16000，11025
*/
MediaFormat encodeFormat = MediaFormat.createAudioFormat("audio/mp4a-latm", 44100, 2);
encodeFormat.se本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓
3305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
