Camera2中NV21和NV12获取
1、Image介绍
Image类允许应用通过一个或多个ByteBuffers直接访问Image的像素数据, ByteBuffer包含在Image.Plane类中,同时包含了这些像素数据的配置信息。因为是作为提供raw数据使用的,Image不像Bitmap类可以直接填充到UI上使用。
因为Image的生产消费是跟硬件直接挂钩的,所以为了效率起见,Image如果不被使用了应该尽快的被销毁掉。如果Image的数量到达了maxImages,不关闭之前老的Image,新的Image就不会继续生产。
image的data被存储在Image类里面,构造参数maxImages控制了最多缓存几帧,新的images通过ImageReader的surface发送给ImageReader,类似一个队列,需要通过acquireLatestImage()或者acquireNextImage()方法取出Image。如果ImageReader获取并销毁图像的速度小于数据源产生数据的速度,那么就会丢帧。
...
//构造一个ImageReader的实例,设置宽高,输出格式,缓存max数量
mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(), ImageFormat.JPEG, 2);
mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
...
private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
@Override
public void onImageAvailable(ImageReader reader) {
Image image = reader.acquireNextImage();
...
image.close();
}
};
部分重要API:
- acquireLatestImage() - 从ImageReader队列中获取最新的一帧Image,并且将老的Image丢弃,如果没有新的可用的Image则返回null。此操作将会从ImageReader中获取所有可获取到的Images,并且关闭除了最新的Image之外的Image。此功能大多数情况下比acquireNextImage更推荐使用,更加适用于视频实时处理。
需要注意的是maxImages应该至少为2,因为丢弃除了最新的之外的所有帧需要至少两帧。换句话说,(maxImages - currentAcquiredImages < 2)的情况下,丢帧将会不正常。 - acquireNextImage() - 从ImageReader的队列中获取下一帧Image,如果没有新的则返回null。
Android推荐我们使用acquireLatestImage来代替使用此方法,因为它会自动帮我们close掉旧的Image,并且能让效率比较差的情况下能获取到最新的Image。acquireNextImage更推荐在批处理或者后台程序中使用,不恰当的使用本方法将会导致得到的images出现不断增长的延迟。 - close() - 释放所有跟此ImageReader关联的资源。调用此方法后,ImageReader不会再被使用,再调用它的方法或者调用被acquireLatestImage或acquireNextImage返回的Image会抛出IllegalStateException,尝试读取之前Plane#getBuffer返回的ByteBuffers将会导致不可预测的行为。
- newInstance(int width, int height, int format, int maxImages) - 创建新的reader以获取期望的size和format的Images。maxImages决定了ImageReader能同步返回的最大的Image的数量,申请越多的buffers会耗费越多的内存空间,使用合适的数量很重要。
format :reader生产的Image的格式,必须是ImageFormat或PixelFormat中的常量,并不是所有的formats都会被支持,比如ImageFormat.NV21就是不支持的,Android一般都会支持ImageFormat_420_888。
maxImages:缓存的最大帧数,必须大于0。
2、YUV数据和格式理解
camera2设置为YUV420_888
时可以得到ImageReader会得到三个Plane,分别对应y
,u
,v
,每个Plane都有自己的规格。介绍两个Plane重要参数:
- getRowStride
getRowStride是每一行数据相隔的间隔,存储图像每行数据的宽度。getRowStride并不一定等于camera预览的宽度,由于系统硬件等各方面的原因,存储数据时需要对齐,比如图像的宽为98字节,但是实际存储的过程中一行图像数据可能用100字节。此时image.rowStride=100,而image.getWidth=98。 - getPixelStride
代表行内两个连续颜色值之间的距离,假如是步长为2,意味索引间隔的原色才是有效的元素,中间间隔的元素其实是没有意义的。而Android中确实也是这么做的,比如某个plane[1](U分量)的步长是2,那么数组下标0,2,4,6,…的数据就是U分量的,而中间间隔的元素Android会补上V分量,也就是会是UVUVUV…这样去分布。但是当最后一个U分量出现后,最后一个没有意义的元素Android就不补了,也就是最后的V分量就不会补了,即是这样分布:UVUVUV…UVUVU。
YUV_420_888的存储又分YUV420分为Planar格式(P)和Semi-Planar格式(SP)两大类,最主要的区别是:
Planar格式(P)按平面分开放,先把U存放完后,再存放V。U是连续的,V也是连续的
即:YYYYYUUUUUVVVV
Semi-Planar格式(SP)只有Y数据一个平面,UV数据合用一个平面。
即:YYYYYUVUVUV…
在使用Android Api以下函数时,得到平面的SP格式:
mImageReader = ImageReader.newInstance(mPreviewSize.getWidth(), mPreviewSize.getHeight(),
ImageFormat.YUV_420_888, 2);
对于SP格式,得到的图像有两种典型类型:rowStride = Width的,(以6*4的图像进行说明)即:
另一种是rowStride != Width的,即
3、获取NV21格式数据
nv21图像数组的长度一定是长×宽×3/2,其中y数据的大小是长×宽(因为每个像素都有一个y值),接着所有像素的u,v值总共有(长×宽×1/2)个。
通过image.getPlanes()[1].getBuffer()得到的Plane就是一个包含像素所有u,v值的缓存区域,它的大小就是长×宽×1/2。
注意事项:
- 获得真正消除的padding的ybuffer和ubuffer。
- 将y数据和uv的交替数据(除去最后一个v值)赋值给nv21。
- 最后一个像素值的u值是缺失的,因此需要从u平面取一下。
public static byte[] YUVToNV21_NV12(Image image, String type) {
int w = image.getWidth(), h = image.getHeight();
byte[] nv21 = new byte[w * h * 3 / 2];
Image.Plane[] planes = image.getPlanes();
int remaining0 = planes[0].getBuffer().remaining();
int remaining1 = planes[1].getBuffer().remaining();
int remaining2 = planes[2].getBuffer().remaining();
int rowOffest = planes[2].getRowStride();
//分别准备三个数组接收YUV分量
byte[] yRawSrcBytes = new byte[remaining0];
byte[] uRawSrcBytes = new byte[remaining1];
byte[] vRawSrcBytes = new byte[remaining2];
planes[0].getBuffer().get(yRawSrcBytes);
planes[1].getBuffer().get(uRawSrcBytes);
planes[2].getBuffer().get(vRawSrcBytes);
//根据每个分量的size生成byte数组
byte[] ySrcBytes = new byte[w * h];
byte[] uSrcBytes = new byte[w * h / 2 - 1];
byte[] vSrcBytes = new byte[w * h / 2 - 1];
if (type.equals("NV12")) {
for (int row = 0; row < h; row++) {
//源数组每隔 rowOffest 个bytes 拷贝 w 个bytes到目标数组
System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
//y执行两次,uv执行一次
if (row % 2 == 0) {
//最后一行需要减一
if (row == h - 2) {
System.arraycopy(uRawSrcBytes, rowOffest * row / 2, uSrcBytes, w * row / 2, w - 1);
} else {
System.arraycopy(uRawSrcBytes, rowOffest * row / 2, uSrcBytes, w * row / 2, w);
}
}
}
//yuv拷贝到一个数组里面
System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
System.arraycopy(uSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
} else {
for (int row = 0; row < h; row++) {
//源数组每隔 rowOffest 个bytes 拷贝 w 个bytes到目标数组
System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
//y执行两次,uv执行一次
if (row % 2 == 0) {
//最后一行需要减一
if (row == h - 2) {
System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w - 1);
} else {
System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w);
}
}
}
//yuv拷贝到一个数组里面
System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
System.arraycopy(vSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
}
return nv21;
}