Unity OpenCVForUnity 安装和第二个案例详解 ＜二＞

目录

一、前言

二、场景介绍

1.WebCamTextureToMatExample脚本

2.FpsMonitor脚本

三、 结构体Scaler

四、找到相机并使用

1.相机的启用

2.格式转换

a.把webCamTexture转换成Mat

b.把Mat转换成Texture2D

五、脚本组合

六、作者的碎碎念

---

一、前言

第二个案例（如图1所示），讲的内容是使用相机和把相机的图片转换成Mat再去使用。

图1 案例2

二、场景介绍

这个案例，如果你点击运行了，就是把相机的内容显示在界面里，同时你可以控制相机的切换，是否启动。

整个场景中，重要的脚本有两个。（如图2所示）

图2 两个重要的脚本

1.WebCamTextureToMatExample脚本

 这个脚本主要是控制相机的启停，输出图片，把图片显示在界面上。

2.FpsMonitor脚本

这个脚本是帧率监视器，把图片的长宽，和输出图片的帧率显示在界面上。（如图3所示）

这些数字和方框都是在脚本里画的，所以在界面里看不见这个游戏物体。

图3 面板

本篇文章不讲脚本2，因为不是主要脚本，只讲脚本1.

三、 结构体Scaler

图片计算一般是四个数据。比如，Color是（255,255,255,255）。

但是我们每次设置就要new Color(255,255,255,255)，再进行修改或者计算是比较麻烦的。

为了不那么麻烦，OpenCV中设置了一个结构体Scaler，专门用来存放四个数，可以复制，可以相乘等，写了一些帮助计算的代码。本质就是存放四个数的结构体。

大家后面看见了不要太陌生。

四、找到相机并使用

我把WebCamTextureToMatExample脚本中最核心的部分拿了出来，单独写了一个脚本。

1.相机的启用

//相机驱动
WebCamDevice webCamDevice;
//相机拍摄的图片
WebCamTexture webCamTexture;

//你希望输出的分辨率宽
public int requestedWidth = 1920;
//你希望输出的分辨率高
public int requestedHight = 1080;
//相机按什么帧率输出图片
public int requestFPS = 30;


void Start()
{
    //初始化
   Initialize();
}

//相机的初始化用携程比较好，就再创建个携程调用
private void Initialize()
{ 
 StartCoroutine(_Initialize());
}

//携程
IEnumerator _Initialize()
{
    //获取所有可以传输图片的相机
     WebCamDevice[] webCamDevices = WebCamTexture.devices;
    //如果这个数量是大于1的
     if (webCamDevices.Length >= 0)
      { 
            //默认取第一个相机，这里你也可以选别的，不要紧
            webCamDevice = webCamDevices[0];

            //初始化一下图片，提供驱动名称，图片的宽高，输出图片的帧率
            webCamTexture = new WebCamTexture(
            webCamDevice.name,    
            requestedWidth,
            requestedHight,
            requestFPS);
       }

        //如果没初始化，说明没找到相机
        if (webCamTexture == null)
        {
            Debug.Log("没有找到相机");
            //跳出方法
            yield break;
        }
        //如果找到了，就开始接收图片
        webCamTexture.Play();
        
        //相机照到以后
        OnInited();   
    }

这部分代码就可以把相机打开，并且把图片拿到WebCamTexture中了。

2.格式转换

还是老规矩，万物都要转换成OpenCV的通用格式Mat，所以分两步：

a.把webCamTexture转换成Mat

b.把mat转换成Texture2D。

a.把webCamTexture转换成Mat

需要的参数有三个：

public static void webCamTextureToMat(
WebCamTexture webCamTexture, 
Mat mat, 
Color32[] pixels32Buffer, 
bool flipAfter = true, 
int flipCode = 0)

webCamTexture有了

新建Mat：

Mat rgbaMat;

rgbaMat = new Mat(
webCamTexture.height, 
webCamTexture.width, 
CvType.CV_8UC4, 
new Scalar(0, 0, 0, 255));    //初始化一个黑色

新建Color32[]：

它的大小必须装得下你想要的相机图片大小。

Color32[] colors;

colors = new Color32[webCamTexture.width * webCamTexture.height];

webCamTexture转换成Mat：

上一集说过，转换的方法都放在Utils类里面，所以，转换方法为：

Utils.webCamTextureToMat(webCamTexture, rgbaMat, colors);

b.把Mat转换成Texture2D

上节课的内容，这里略过。

五、脚本组合

WebCamDevice webCamDevice;
    WebCamTexture webCamTexture;

    public int requestedWidth = 1920;
    public int requestedHight = 1080;
    public int requestFPS = 30;

    Mat rgbaMat;
    Color32[] colors;
    Texture2D texture;


    void Start()
    {
        Initialize();
    }

    private void Initialize()
    { 
    StartCoroutine(_Initialize());
    }

    IEnumerator _Initialize()
    {
        WebCamDevice[] webCamDevices = WebCamTexture.devices;
        if (webCamDevices.Length >= 0)
        { 
            webCamDevice = webCamDevices[0];
            webCamTexture = new WebCamTexture(webCamDevice.name,requestedWidth,requestedHight,requestFPS);
        }

        if (webCamTexture == null)
        {
            Debug.Log("没有找到相机");
            yield break;
        }

        webCamTexture.Play();

        OnInited();
    
    }

    private void OnInited()
    {
        //初始化Colors
        colors = new Color32[webCamTexture.width * webCamTexture.height];
        //初始化texture
        texture = new Texture2D(webCamTexture.width, webCamTexture.height, TextureFormat.RGBA32, false);
        //初始化mat并赋值黑色
        rgbaMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC4, new Scalar(0, 0, 0, 255));
        //转换
        Utils.matToTexture2D(rgbaMat, texture, colors);

        //我是把脚本挂在RawImage上的，所以可以直接赋值
        gameObject.GetComponent<RawImage>().texture = texture;
    }

    void Update()
    {
        if (webCamTexture.isPlaying && webCamTexture.didUpdateThisFrame)
        {
            Utils.webCamTextureToMat(webCamTexture, rgbaMat, colors);
            Utils.matToTexture2D(rgbaMat, texture, colors);

            //我是把脚本挂在RawImage上的，所以可以直接赋值
            gameObject.GetComponent<RawImage>().texture = webCamTexture;
        }
    }

六、作者的碎碎念

发现数据还挺好，所以....继续更了。