针对android&ios yuv旋转、镜像、格式转换、裁剪 算法实现

最新推荐文章于 2022-09-23 11:43:55 发布
最新推荐文章于 2022-09-23 11:43:55 发布
阅读量1.1w 收藏 14
点赞数
分类专栏： 算法 图像处理 文章标签： yuv旋转算法 yuv裁剪算法 yuv镜像算法 nv21转yuvi420算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dangxw_/article/details/50903693
版权

移动端录像在yuv数据上存在如下问题：

 

1.无论android还是ios都不能直接从摄像头取出颜色空间为i420的数据，所以在编码前需要进行格式转换。

2.而且由于所取图像得分辨率必须是摄像头所提供分辨率中得一组，所以有可能需要裁剪。

3.另外由于1)想让无论用户哪个方向拿手机所录的视频内容永远“头朝上”，

  2)摄像头默认返回图像为横屏图像（宽大于长）所以需要旋转。

4.前置摄像头需要镜像。

 

YUV 颜色空间分类：https://zh.wikipedia.org/wiki/YUV

 

yuv 420 又分为：

I420: YYYYYYYY UU VV   =>YUV420P
YV12: YYYYYYYY VV UU   =>YUV420P
NV12: YYYYYYYY UVUV    =>YUV420SP
NV21: YYYYYYYY VUVU    =>YUV420SP

 

下面给出解决这四个问题所需要得算法：

 

1 格式转换：

nv21 转成i420

 

//nv21 to yuvi420
void NV21ToI420(uint8_t* dstyuv,uint8_t* data, int imageWidth, int imageHeight)
{
    int Ustart =imageWidth*imageHeight;
    int i,j;
    int uWidth = imageWidth/2;
    int uHeight = imageWidth/2;
    //y
    memcpy(dstyuv,data,imageWidth*imageHeight);
    int tempindex = 0 ;
    int srcindex= 0;
    //u
    for(i= 0 ;i <uHeight;i++)
    {
 
 
        for(j = 0;j <uWidth ;j++ )
        {
            dstyuv[Ustart+tempindex+j]= data[Ustart+(srcindex<<1)+1];
            srcindex++;
        }
        tempindex+= uWidth;
    }
 
 
    //v
    for (i = 0; i < uHeight;i++)
    {
 
        for (j = 0; j < uWidth;j++)
        {
            dstyuv[Ustart+tempindex + j] = data[Ustart + (srcindex << 1 )];
            srcindex++;
        }
        tempindex+= uWidth;
    }
}


 

其实就是改变了uv的位置。

 

2 裁剪：

//crop yuv data
int crop_yuv (char* data, char*dst, intwidth, intheight,
        int goalwidth, int goalheight) {
 
    int i, j;
    int h_div = 0, w_div = 0;
    w_div= (width - goalwidth) / 2;
    if (w_div % 2)
        w_div--;
    h_div= (height - goalheight) / 2;
    if (h_div % 2)
        h_div--;
    //u_div = (height-goalheight)/4;
    int src_y_length = width *height;
    int dst_y_length =goalwidth * goalheight;
    for (i = 0; i <goalheight; i++)
        for (j = 0; j <goalwidth; j++) {
            dst[i* goalwidth + j] = data[(i + h_div) * width + j + w_div];
        }
    int index = dst_y_length;
    int src_begin =src_y_length + h_div * width / 4;
    int src_u_length =src_y_length / 4;
    int dst_u_length =dst_y_length / 4;
    for (i = 0; i <goalheight / 2; i++)
        for (j = 0; j <goalwidth / 2; j++) {
            int p = src_begin + i *(width >> 1) + (w_div >> 1) + j;
            dst[index]= data[p];
            dst[dst_u_length+ index++] = data[p + src_u_length];
        }
 
    return 0;
}


 

 

3 旋转：

分为四个方向

 

 

 

旋转：

以顺时针旋转270度为例作图：

 

Y1

Y2

Y3

Y4

Y5

Y6

Y7

Y8

Y9

Y10

Y11

Y12

Y13

Y14

Y15

Y16

U1

U2

U3

U4

V1

V2

V3

V4

原图

 

 

 

Y4

Y8

Y12

Y16

Y3

Y7

Y11

Y15

Y2

Y6

Y10

Y14

Y1

Y5

Y9

Y13

U2

U4

U1

U3

V2

V4

V1

V3

旋转后

 

u值的第i 行j列 对应原 数据的下标为：  ustart+uw*j-i;

去除index的乘除法运算后：

//i420 顺时针 270度

int rotateYUV420Degree270(uint8_t* dstyuv,uint8_t* srcdata, int imageWidth, int imageHeight) {
 
    int i = 0, j = 0;
 
    int index = 0;
    int tempindex = 0;
    int div = 0;
    for (i = 0; i <imageHeight; i++) {
        div= i +1;
        tempindex= 0;
        for (j = 0; j <imageWidth; j++) {
 
            tempindex+= imageWidth;
            dstyuv[index++]= srcdata[tempindex-div];
        }
    }
 
    int start =imageWidth*imageHeight;
    int udiv = imageWidth *imageHeight / 4;
 
    int uWidth = imageWidth /2;
    int uHeight = imageHeight /2;
    index= start;
    for (i = 0; i < uHeight;i++) {
        div= i +1;
        tempindex= start;
        for (j = 0; j < uWidth;j++) {
            tempindex += uWidth;
            dstyuv[index]= srcdata[tempindex-div];
            dstyuv[index+udiv]= srcdata[tempindex-div+udiv];
            index++;
        }
    }
 
    return 0;
 
}


//i420 顺时针旋转 180；

int rotateYUV420Degree180(uint8_t* dstyuv,uint8_t* srcdata, int imageWidth, int imageHeight)
{
 
    int i = 0, j = 0;
 
    int index = 0;
    int tempindex = 0;
 
    int ustart = imageWidth *imageHeight;
    tempindex= ustart;
    for (i = 0; i <imageHeight; i++) {
 
        tempindex-= imageWidth;
        for (j = 0; j <imageWidth; j++) {
 
            dstyuv[index++] = srcdata[tempindex + j];
        }
    }
 
    int udiv = imageWidth *imageHeight / 4;
 
    int uWidth = imageWidth /2;
    int uHeight = imageHeight /2;
    index= ustart;
    tempindex= ustart+udiv;
    for (i = 0; i < uHeight;i++) {
 
        tempindex-= uWidth;
        for (j = 0; j < uWidth;j++) {
 
            dstyuv[index]= srcdata[tempindex + j];
            dstyuv[index+ udiv] = srcdata[tempindex + j + udiv];
            index++;
        }
    }
    return 0;
}


 

 

顺时针 90度：

 

//i420顺时针旋转90 ；
int rotateYUV420Degree90(uint8_t* dstyuv,uint8_t* srcdata, int imageWidth, int imageHeight) {
 
    int i = 0, j = 0;
 
    int index = 0;
    int tempindex = 0;
    int div = 0;
    int ustart = imageWidth *imageHeight;
    for (i = 0; i <imageHeight; i++) {
        div= i;
        tempindex= ustart;
        for (j = 0; j <imageWidth; j++) {
 
            tempindex-= imageWidth;
 
            dstyuv[index++]= srcdata[tempindex + div];
        }
    }
 
 
    int udiv = imageWidth *imageHeight / 4;
 
    int uWidth = imageWidth /2;
    int uHeight = imageHeight /2;
    index= ustart;
    for (i = 0; i < uHeight;i++) {
        div= i ;
        tempindex= ustart+udiv;
        for (j = 0; j < uWidth;j++) {
            tempindex-= uWidth;
            dstyuv[index]= srcdata[tempindex + div];
            dstyuv[index+ udiv] = srcdata[tempindex + div + udiv];
            index++;
        }
    }
    return 0;
 
}

 

如果从摄像头取出数据，这样一步步的历遍，在低配手机上是满足不了需求的。其实这三个步骤中有很多中间步骤是可以省去的，比如：将a放到b 位置，再将b位置上的数据取出放到c位置，那么可以直接将a放到c位置。

所以需要优化以上三类问题所用的算法将其整合。结果如下：

 

void detailPic0(uint8_t* d, uint8_t* yuv_temp, int nw, int nh, int w, int h) {
    int deleteW = (nw - w) / 2;
    int deleteH = (nh - h) / 2;
    //处理y 旋转加裁剪
    int i, j;
    int index = 0;
    for (j = deleteH; j < nh- deleteH; j++) {
        for (i = deleteW; i < nw- deleteW; i++)
            yuv_temp[index++]= d[j * nw + i];
    }
 
    //处理u
    index= w * h;
 
    for (i = nh + deleteH / 2;i < nh / 2 * 3 - deleteH / 2; i++)
        for (j = deleteW + 1; j< nw - deleteW; j += 2)
            yuv_temp[index++]= d[i * nw + j];
 
    //处理v 旋转裁剪加格式转换
    for (i = nh + deleteH / 2;i < nh / 2 * 3 - deleteH / 2; i++)
        for (j = deleteW; j < nw- deleteW; j += 2)
            yuv_temp[index++]= d[i * nw + j];
 
}

//针对横屏前摄像头 nv21 to 420sp  裁剪，旋转
void detailPic180(uint8_t* d, uint8_t* yuv_temp, int nw, int nh, int w, int h) {
    int deleteW = (nw - w) / 2;
    int deleteH = (nh - h) / 2;
    //处理y 旋转加裁剪
    int i, j;
    int index = w * h;
    for (j = deleteH; j < nh- deleteH; j++) {
        for (i = deleteW; i < nw- deleteW; i++)
            yuv_temp[--index]= d[j * nw + i];
    }
 
    //处理u
    index= w * h * 5 / 4;
 
    for (i = nh + deleteH / 2;i < nh / 2 * 3 - deleteH / 2; i++)
        for (j = deleteW + 1; j< nw - deleteW; j += 2)
            yuv_temp[--index]= d[i * nw + j];
 
    //处理v 旋转裁剪加格式转换
    index= w * h * 3 / 2;
    for (i = nh + deleteH / 2;i < nh / 2 * 3 - deleteH / 2; i++)
        for (j = deleteW; j < nw- deleteW; j += 2)
            yuv_temp[--index]= d[i * nw + j];
 
}



void detailPic90(uint8_t* d, uint8_t* yuv_temp, int nw, int nh, int w, int h) {
 
 
 
 
 
    int deleteW = (nw - h) / 2;
    int deleteH = (nh - w) / 2;
 
    int i, j;
     }*/
    for (i = 0; i < h; i++){
        for (j = 0; j < w; j++){
            yuv_temp[(h- i) * w - 1 - j] = d[nw * (deleteH + j) + nw - deleteW
                    -i];
        }
    }
 
    int index = w * h;
    for (i = deleteW + 1; i< nw - deleteW; i += 2)
        for (j = nh / 2 * 3 -deleteH / 2; j > nh + deleteH / 2; j--)
            yuv_temp[index++]= d[(j - 1) * nw + i];
 
    for (i = deleteW; i < nw- deleteW; i += 2)
        for (j = nh / 2 * 3 -deleteH / 2; j > nh + deleteH / 2; j--)
            yuv_temp[index++]= d[(j - 1) * nw + i];
 
}
 


void detailPic270(uint8_t* d, uint8_t* yuv_temp, int nw, int nh, int w, int h) {
    int deleteW = (nw - h) / 2;
    int deleteH = (nh - w) / 2;
    int i, j;
    //处理y 旋转加裁剪
    for (i = 0; i < h; i++){
        for (j = 0; j < w; j++){
            yuv_temp[i* w + j] = d[nw * (deleteH + j) + nw - deleteW - i];
        }
    }
 
    //处理u 旋转裁剪加格式转换
    int index = w * h;
    for (i = nw - deleteW - 1;i > deleteW; i -= 2)
        for (j = nh + deleteH / 2;j < nh / 2 * 3 - deleteH / 2; j++)
            yuv_temp[index++]= d[(j) * nw + i];
 
    //处理v 旋转裁剪加格式转换
 
    for (i = nw - deleteW - 2;i >= deleteW; i -= 2)
        for (j = nh + deleteH / 2;j < nh / 2 * 3 - deleteH / 2; j++)
            yuv_temp[index++]= d[(j) * nw + i];
 
}


 

注：没有优化，消除index的乘法后效果肯定会更好。

 

4 镜像：

 

//mirro 原址的
void Mirror(uint8_t* yuv_temp, int nw, int nh, int w,
        int h) {
    int deleteW = (nw - h) / 2;
    int deleteH = (nh - w) / 2;
    int i, j;
   
    int a, b;
    uint8_ttemp;
    //mirror y
    for (i = 0; i < h; i++){
        a= i * w;
        b= (i + 1) * w - 1;
        while (a < b) {
            temp= yuv_temp[a];
            yuv_temp[a]= yuv_temp[b];
            yuv_temp[b]= temp;
            a++;
            b--;
        }
    }
    //mirror u
    int uindex = w * h;
    for (i = 0; i < h / 2;i++) {
        a = i * w / 2;
        b= (i + 1) * w / 2 - 1;
        while (a < b) {
            temp= yuv_temp[a + uindex];
            yuv_temp[a+ uindex] = yuv_temp[b + uindex];
            yuv_temp[b+ uindex] = temp;
            a++;
            b--;
        }
    }
    //mirror v
    uindex= w * h / 4 * 5;
    for (i = 0; i < h / 2;i++) {
        a= i * w / 2;
        b= (i + 1) * w / 2 - 1;
        while (a < b) {
            temp= yuv_temp[a + uindex];
            yuv_temp[a+ uindex] = yuv_temp[b + uindex];
            yuv_temp[b+ uindex] = temp;
            a++;
            b--;
        }
    }
 
}


 

 

由于当初忽略了镜像，所以并没有把镜像也和其他三个算法和并到一起。不过测试还是通过的。

 

如果集成ffmpeg或者opencv，可以使用ffmpeg的sws，filter 或者opencv的cvtcolor都可以轻松实现部分功能，不过跟踪过ffmpeg sws的源码，发现效率较低，代码实现较差。如果追求处理效率，并且以上优化的算法仍不能满足，建议使用libyuv，其中试用了很多汇编指令加速，效率惊人。

党玉涛
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
android yuv数据处理_Android将camera获取到的YuvData在jni中转化为Mat方法
weixin_31234809的博客
01-31 517
Android将camera获取到的YuvData在jni中转化为Mat方法发布时间：2020-10-03 18:34:44来源：脚本之家阅读：154作者：BrcLiAndroid中可以通过camera获取图像，并实时处理，不同的手机camera支持的的图像格式不同，可以采用getCameraPreviewFormat来得到preview支持的图像编码格式，Android默认使用NV21(yuv4...
2024-05-10 Ubuntu上面使用libyuv，用于转换、缩放、旋转和其他操作YUV图像数据，测试实例使用I420ToRGB24
最新发布
海月汐辰
05-10 465
【代码】2024-05-10 Ubuntu上面使用libyuv，用于转换、缩放、旋转和其他操作YUV图像数据，测试实例使用I420ToRGB24。
yuv420数据快速裁剪
Edsam--活到老学到老，掌握核心技术，做好产品服务！
10-16 2294
yuv420数据快速裁剪         最近碰到一个项目需求，这个项目是两年多年已经量产的项目，这是一个车载后视镜项目，当时配置的后视摄像头是确定的，也就是说这个后视摄像头是厂家定制出去的，当时研发在做倒车显示的时候，显示的画面是完整的裸数据，没有裁剪过，也就是后视摄像头出来的CVBS数据是N制式的时候就是720X480的原始数据来显示的。        但是最近又接到一个需求，就是这个
Android 使用libyuv对 yuv数据进行缩放，旋转，镜像，裁剪等操作
10-12
Android 使用libyuv对Android yuv数据进行缩放，旋转，镜像，裁剪等操作
YUV420（YV12，I420）裁剪，画中画算法实现（笔记）
xjb2006的专栏
01-05 2138
关于RGB和YUV的数据排列不再累述，百度很多。 YV12，I420同属YUV420P，加了一个P的意思，我理解为把Y,U,V分量按块排列，即YYYYYYYY  UU  VV这样。YV12，I420的区别在于U和V的位置颠倒而已。 直接贴代码吧： 1、裁剪算法： static void Cut_YV12(BYTE* Src,int x,int y,int srcWidth,int srcH
yuv420sp图像的裁剪，后放到指定位置，再将一张图片分成四张，再合成回来成为一张
01-27
将一张yuv420sp图像的裁剪，后放到指定位置，再将一张图片分成四张，再合成回来成为一张。可以参考一下的
如何裁剪YUV420图像，抓取指定区域，制作方形视频，模仿Instagram
我是榜样的博客
01-05 2485
###I420格式介绍 在webrtc中android和ios系统采集摄像头获取到原始数据后， 一帧原始图像会被转化为标准的YUV420P格式，也就是I420格式, 转换的函数使用的是libyuv中的ConvertToI420()函数 ###YUV格式详细讲解 进行裁剪操作需要对I420格式的内存分布有深入的了解，推荐大家看这篇文章： http://blog.csdn.net/jefry_xdz/...
Android裁剪/切割/分离YUV同时支持Camera1 Camera2
bookzhan的专栏
07-08 952
在Android中使用Camera避免不了操作YUV,但是我们经常会遇到在不同手机上Camera出来的尺寸不是我们想要的，这个时候就需要裁剪了，最优办法当然是从源头YUV进行处理，一是YUV相对来说数据量较小，二是在源头上处理了，可以为后续流程节省CPU算力开销。如果你们在整个工程中用的是Texture,我也有解决方案，稍后放出来。 源码地址与Demo：https://www.bzblog.online/wordpress/index.php/2020/07/08/yuvcrop/ 首先我们要知道And.
RGB-YUV转换工具 - Android App
08-09
用作RGB和YUV互相转换、换算的一个Android App工具，提供apk安装包，可以直接安装使用，以及提供项目源码。
RGB2YUV.rar_rgb2yuv_视频格式转换
09-24
RGB与YUV图像视频格式的相互转换,rgb2yuv.cpp
YUV&RGB 各种格式转换
08-07
1 支持 ARGB, RGBA, RGB, BGR, RGB565, YUV420P, YV12, YUV4220, YUYV, UYVY, NV12, NV21 各种格式相互转换 2 C 源代码, 利用 libyuv 实现 3 支持 windows/linux/android 各种平台编译 4 速度比 ffmpeg 快 5 丰富的...
仿IOS activity界面翻转3D动画
09-13
详细请见博客，希望分享的资源能帮助到需要的人。 详细请见博客，希望分享的资源能帮助到需要的人。
NV21 旋转缩放转BGR
03-01
C++实现将NV21缩放，旋转，以及转换成BGR等一系列操作，低耗时
JPEGCompression.zip_YUV压缩_matlab_yuv转换_图像压缩 YUV_图像格式转换
07-14
（1）进行颜色转换，将RGB格式转换为YUV格式。 （2）将待编码的N×N的图像分解成(N/8)^ 2 个大小为8×8的子图像。 （3）对每个子图像进行DCT变换，得到各子图像的变换系数。这一步的实质是把空间域表示的图像转换成...
YUV420序列定区域裁剪
Nyquistfoot的博客
05-12 297
C实现YUV420序列定区域裁剪 目的 实现对视频序列的某一区域定区域裁剪。示意图如下： 目的是将一个视频序列中某个固定位置的方形区域给抠出来。 代码实现 #include<iostream> int main() { int w = 1920;//帧宽 int h = 1080;//帧高 int f_num = 64;//处理帧数 const char* in_path = "E:/sequence/BasketballDrive65Frames_1920x1080_50_21.
nv21(yuv420sp)水平镜像翻转实现
技术笔记
10-14 1067
输入数据是yuv，输出是flipyuv, uv分量是交替存储，uvsize刚好是height/2 * width, 下面的实现没有考虑stride的情况。 ``` void CvtNV21FlipH(Mat& mYUV, Mat& mflipYUV) { int width = mYUV.cols; int height = mYUV.rows; // flip Y data for (int j = 0; j < height; j++) { ...
camera yuv数据旋转 镜像
SummerChen
09-23 203
android camera 预览数据旋转镜像
android 视频通话yuv rgb,Android视频渲染: YUV转RGB
weixin_30728435的博客
05-29 342
Android SDK为Camera预览提供了一个Demo，这个Demo的大致流程是初始化一个Camera和一个SurfaceView，SurfaceView被 创建之后可以获取到一个SurfaceHolder的实例，将这个SurfaceHolder传递给Camera，这样Camera就会自动的将捕获到的 视频数据渲染到SurfaceView上面，这也就是Camera预览的效果。当然更多的时候我们...
使用libyuv对YUV数据进行缩放，旋转，镜像，裁剪等操作
音视频开发进阶
07-14 8297
1、背景 在Android做过自定义Camera的朋友应该都知道，我们可以通过public void onPreviewFrame(byte[] data, Camera camera)...
YUV422格式转换为RGB
07-20
要将YUV422格式转换为RGB格式，您可以使用FFmpeg库中的函数进行转换。以下是一个使用FFmpeg进行YUV422到RGB转换的示例代码： ```c #include <stdio.h> #include <libavutil/imgutils.h> #include <libswscale/swscale.h> int main() { int width = 640; // 输入图像的宽度 int height = 480; // 输入图像的高度 // 分配输入图像的内存 uint8_t* yuv422Buffer = (uint8_t*)malloc(width * height * 2); // 在这里填充YUV422数据到yuv422Buffer // 分配输出图像的内存 uint8_t* rgbBuffer = (uint8_t*)malloc(width * height * 3); // 创建输入图像的AVFrame AVFrame* yuv422Frame = av_frame_alloc(); yuv422Frame->format = AV_PIX_FMT_YUV422P; yuv422Frame->width = width; yuv422Frame->height = height; av_image_fill_arrays(yuv422Frame->data, yuv422Frame->linesize, yuv422Buffer, AV_PIX_FMT_YUV422P, width, height, 1); // 创建输出图像的AVFrame AVFrame* rgbFrame = av_frame_alloc(); rgbFrame->format = AV_PIX_FMT_RGB24; rgbFrame->width = width; rgbFrame->height = height; av_image_fill_arrays(rgbFrame->data, rgbFrame->linesize, rgbBuffer, AV_PIX_FMT_RGB24, width, height, 1); // 创建转换上下文 struct SwsContext* swsContext = sws_getContext(width, height, AV_PIX_FMT_YUV422P, width, height, AV_PIX_FMT_RGB24, 0, NULL, NULL, NULL); // 进行转换 sws_scale(swsContext, yuv422Frame->data, yuv422Frame->linesize, 0, height, rgbFrame->data, rgbFrame->linesize); // 在这里可以使用rgbBuffer中的RGB数据 // 释放资源 free(yuv422Buffer); free(rgbBuffer); av_frame_free(&yuv422Frame); av_frame_free(&rgbFrame); sws_freeContext(swsContext); return 0; } ``` 请注意，此示例假设您已经填充了正确的YUV422数据到yuv422Buffer。您需要根据实际情况修改输入图像的宽度和高度，并在转换后使用rgbBuffer中的RGB数据进行进一步处理。还要确保您已经链接了FFmpeg库并包含所需的头文件。 请参考FFmpeg文档以获得更多关于使用FFmpeg进行图像格式转换的详细信息和选项。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值