乐视三合一体感摄像头--基本信息及windows下部分开发

Introduction

      乐视三合一体感摄像头是乐视对标kinect，做的一款3D体感摄像头；设计目的为用于电视机上体感使用的，包括其USB结构都是为了符合电视机直接操作的，同时是支持相应的游戏操作；但是自从乐视倒闭之后，价格从之前标价899降到了现在140+左右；

基本信息

产品封装：

产品外观：

这里可以看到相机的USB设计都是针对电视设备设计的，所以要正常使用的话，还需要一根公对母的USB拓展线；

• 模组：奥比中光orbbec模组（乐视和奥比中光合作开发的）
• 型号名称：乐视三合一体感摄像头 LeTMC-520
  其他信息：
  

Windows下使用

      以下内容为windows下部分使用教程

安装驱动

      首先是下载安装驱动，和参考教程[1]不同，我电脑插上摄像头即能识别：

这时候从Orbbec3d官网: https://orbbec3d.com/develop/.下载相机驱动；解压文件后直接使用SDK下的教程：

更新驱动，搜索地址为解压后的驱动文件即可；

这样相机驱动就配置完成了；

使用openNI

首先说一下openNI是什么；
OpenNI(开放自然交互)是一个多语言，跨平台的框架，它定义了编写应用程序，并利用其自然交互的API。OpenNI API由一组可用来编写通用自然交互应用的接口组成。OpenNI的主要目的是要形成一个标准的API，来搭建视觉和音频传感器与视觉和音频感知中间件通信的桥梁。
以上内容来源于百度百科；
简而言之，openNI提供了一套api，可以通过这个api访问音视频的的参数，比如：三维数据（这些标准化的数据类型可以表示人体全身，手的位置，或者仅仅是一个含有深度信息的像素图等）。

Orbbec3d官网: https://orbbec3d.com/develop/在页面最下面下载openNI

直接使用NiViewer打开即可；

直接打开就能看到深度图，但是这个是看不到RGB图的；
这里是因为，openNI是完全支持奥比中光的产品的，Astra系列中的Astra　Pro产品（即为乐视三合一摄像头）对应的彩色摄像头使用UVC摄像头，其数据传输并不通过OpenNI2，因此使用OpenNI2应用不能看到彩色数据；

openNI操作非常简单，鼠标右击就是所有功能，下图是相关功能快捷键；

通过快捷键“c”（英文输入法下）即可保存深度图，保存路径在openNI软件同级目录下；

这里由于是深度图像，windows可以识别成图片但是本身无法解析，这里我们使用imageJ来查看图像；

使用imageJ

      使用imageJ查看深度图这块比较简单，支持参考教程[2]即可，这里就不做累述。

调用RGB图像

      这里虽然不能用openNI直接查看RGB图像，但是乐视用的这款UVC本身其实是免驱的摄像头，所以你可以打开它像你的电脑摄像头那样；
比如，腾讯会议：

Python程序调用opencv打开：

源代码如下：

import cv2
cap = cv2.VideoCapture(2)
while(True):
    ret,frame=cap.read()

#普通图片
    cv2.imshow('frame',frame)

    if cv2.waitKey(1)&0xFF==ord('q'):
        break
        cap.release()
        cv2.destroyAllWindows()

或者是使用专门的UVC相机工具查看彩色数据，如Amcap：
Amcap下载网址： https://amcap.en.softonic.com/download
安装后，运行：

device下选择设备查看：

Q：

这里有windows下使用有两个问题没解决，

• 深度图和RGB图未实现同时调用，信息匹配；
• windows下具体程序开发过程；

以上两个问题会在后面解决。

参考资料

[1]、CSDN博客: 奥比中光astra深度相机新手入门操作.
[2]、CSDN博客: 奥比中光astra 摄像头采集深度图和RGB图像.