android短视频录制与头像跟随（一）

最近在为公司的短视频项目做技术预研，研究了很久发现网上关于音视频的资料实在是有点少，所以我想自己来坚持写点东西，我会尽力把这个系列写完，相信会对后来的人有点帮助，因为本人对音视频研究并不深，难免整理有错，希望理解。

       在网上调研了很久安卓的视频录制，发现基本都是讲的使用MediaRecorder，来进行录制的方案，这是个使用非常简单，封装度很高的方式，最重要我不能使用它的原因是这种方案里面我并不能在不hook任何系统类的情况下拿到视频帧数据。

        经过一段时间的调研后，发现有些人的方案是这样子的，通过为Camera类setPreviewCallback的，从而在这个Callback中我们能不断的收到视频数据回调，这里的视频数据都是完全没有经过编码处理的。然后把这些视频数据喂给jni层的视频处理函数，视频处理函数可能使用的是opengl之类的图像处理库，将数据处理(例如：加水印)后，再传递给编码器，编码器可以是安卓系统的硬编码方式，也可以是自己使用的第三方库来进行的软编码方式（我目前了解到的大部分都是使用h264编码标准）。编码过后可以得到一个视频数据。

      在我们开始录制视频的同时（即开始给jni的视频处理函数喂数据时开始），我们需要启动一个线程来执行AudioRecorder，从而获得音频数据，音频录制程序比较靠谱的一点是我们从AudioRecorder是拿到的完全未编码的数据，这意味着我们需要自行编码（音频编码几乎都是使用的aac标准），关于音频的采集和编码个人觉得是相对简单的，刚好我前段时间刚做完一个音频直播的技术调研，有完整代码与文档，等下次专门写篇文章来介绍一下。总之这里也会要得到一个音频数据。

      分别拿到了音频和视频的数据之后就涉及到了音视频的复用和封装了。这一块我目前还正在苦苦趟坑中，等我搞定了就来写下一篇文章。也希望能有大神看到了能帮我指点一下，先在这里贴出我写的从Camera的预览回调中拿到摄像头数据的代码，以示诚意。

package com.example.shortvideodemo;

import java.io.IOException;
import java.util.List;

import android.content.Context;
import android.graphics.ImageFormat;
import android.hardware.Camera;
import android.hardware.Camera.Parameters;
import android.hardware.Camera.PreviewCallback;
import android.hardware.Camera.Size;
import android.util.AttributeSet;
import android.view.SurfaceHolder;
import android.view.SurfaceHolder.Callback;
import android.view.SurfaceView;
import android.widget.Toast;

public class CameraView extends SurfaceView implements Callback, PreviewCallback{

	private Camera camera;
	private int defaultWidth = 640,defaultHeight = 480,previewWidth = 0,previewHeight = 0;
	private byte[] previewBuffer = null;
	private boolean isPreviewing = false;
	
	public CameraView(Context context) {
		super(context);
		this.getHolder().addCallback(this);
	}
	
	public CameraView(Context context, AttributeSet attrs) {
		super(context, attrs);
		this.getHolder().addCallback(this);
	}
	
	private void prepareCamera(){
		this.camera = Camera.open(Camera.CameraInfo.CAMERA_FACING_BACK);
		if(camera == null){
			return;
		}
		Parameters params = camera.getParameters();
		params.setPreviewFormat(ImageFormat.NV21);
		List<Size> preSizeList = params.getSupportedPictureSizes();
		boolean supportDefault = false;
		for(Size size: preSizeList){
			if(size.width == defaultWidth && size.height == defaultHeight){
				supportDefault = true;
				break;
			}
		}
		if(supportDefault){
			params.setPreviewSize(defaultWidth, defaultHeight);
		}else{
			Toast.makeText(getContext(),"默认尺寸不匹配",Toast.LENGTH_SHORT).show();
		}
		this.camera.setParameters(params);
		this.camera.setDisplayOrientation(90);
		this.previewWidth = params.getPreviewSize().width;
		this.previewHeight = params.getPreviewSize().height;
		this.previewBuffer = new byte[this.previewHeight * this.previewWidth * (ImageFormat.getBitsPerPixel(ImageFormat.NV21)/8)];
		this.camera.addCallbackBuffer(this.previewBuffer);
		this.camera.setPreviewCallbackWithBuffer(this);
		try {
			this.camera.setPreviewDisplay(this.getHolder());
			this.camera.startPreview();
			this.isPreviewing = true;
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}
	
	public void pausePreview(boolean pause){
		if(pause){
			if(this.isPreviewing && this.camera != null){
				this.camera.stopPreview();
				this.isPreviewing = false;
			}
		}else{
			if(!this.isPreviewing && this.camera != null){
				this.camera.startPreview();
				this.isPreviewing = true;
			}
		}
	}
	
	@Override
	public void surfaceCreated(SurfaceHolder holder) {
		// TODO Auto-generated method stub
		prepareCamera();
	}

	@Override
	public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
		// TODO Auto-generated method stub
		
	}

	@Override
	public void surfaceDestroyed(SurfaceHolder holder) {
		// TODO Auto-generated method stub
		if(this.isPreviewing)
			this.camera.stopPreview();
		this.camera.release();
	}

	@Override
	public void onPreviewFrame(byte[] data, Camera camera) {
		// TODO Auto-generated method stub
		
	}

}