[Android6.0][MTK6737] UVC Camera (MJPEG) 移植

最新推荐文章于 2023-11-01 19:24:42 发布

Younix脏羊

最新推荐文章于 2023-11-01 19:24:42 发布

阅读量7k

点赞数

分类专栏：驱动移植 MTK平台

本文链接：https://blog.csdn.net/dearsq/article/details/80242996

版权

驱动移植同时被 2 个专栏收录

53 篇文章 41 订阅

订阅专栏

MTK平台

12 篇文章 2 订阅

订阅专栏

Hardware:MT6737
DeviceOS:Android6.0
Kernel: Linux3.18
HostOS: Ubuntu16.04

基础知识

USB video class（又称为USB video device class or UVC）就是USB device class视频产品在不需要安装任何的驱动程序下即插即用，包括摄像头、数字摄影机、模拟视频转换器、电视卡及静态视频相机。
Linux内核之中，已经集成了对UVCCamre的支持。

V4L2

Video4Linux或V4L是一个视频截取及设备输出API，以及Linux的驱动程序框架，支持很多USB摄像头、电视调谐卡以及其他设备。
简单的讲V4L2就是用来管理UVC设备的并且能够提供视频相关的一些API。那么这些API怎么使用或者能被谁使用呢。在Linux系统上有很多的开源软件能够支持V4L2。常见的又FFmpeg、opencv、Skype、Mplayer等等。

移植步骤

内核部分

对于 MTK 平台，本身是不支持 UVC Camera 的。但是 Linux 源码中是有进行支持的，所以我们进行相应的修改：

对于 Kernel 若需要打开UVC CAMERA 需要在内核中配置：
CONFIG_MEDIA_SUPPORT=y
CONFIG_MEDIA_CAMERA_SUPPORT=y
CONFIG_VIDEO_DEV=y
CONFIG_VIDEO_V4L2=y
CONFIG_VIDEOBUF2_CORE=y
CONFIG_VIDEOBUF2_MEMOPS=y
CONFIG_VIDEOBUF2_VMALLOC=y
CONFIG_MEDIA_USB_SUPPORT=y
CONFIG_USB_VIDEO_CLASS=y
USB_VIDEO_CLASS_INPUT_EVDEV = y

OTG 相关的配置：
CONFIG_USB_MTK_OTG=y
CONFIG_USB_MTK_HDRC=y
CONFIG_USB_MTK_HDRC_HCD=y

权限问题：
本以为添加了/dev/video0 0666 root root就可以了，但是，有时候video0会变成video1，第一次打开SimpleWebCam.apk软件的时候，图像正常，之后再次进入SimpleWebCam.apk，就没有图像了。查看了日志信息，显示没有找到设备。在查看root@:/dev #，dev/video0变成了dev/video1！USB摄像头并没有换，为什么会显示dev/video1。修改了SimpleWebCam.apk，使其支持video0~video3，但是日志输出E/WebCam ( 3352): Cannot open ‘/dev/video1’: 13,Permission denied，于是我们的解决方法如下：
system/core/rootdir/ueventd.rc 下添加：
/dev/video0 0666 root root
/dev/video1 0666 root root
/dev/video2 0666 root root
/dev/video3 0666 root root

安全策略：
如果 SeLinux 没有关闭，还需要在 system_app.te 进行如下修改。

allow system_app video_device:chr_file { read write open getattr };

应用层部分

v4l2 - Video for Linux 2，是Linux内核中关于视频设备的内核驱动框架，为上层的访问底层的视频设备提供了统一的接口。同时是针对uvc免驱usb设备的编程框架，主要用于采集 usb 摄像头等。

操作方式

在v4l2编程中，一般使用ioctl函数来对设备进行操作：

extern int ioctl (int __fd, unsigned long int __request, …) __THROW;

__fd：设备的ID，例如用open函数打开/dev/video0后返回的cameraFd；
__request：具体的命令标志符。

在进行V4L2开发中，一般会用到以下的命令标志符：
VIDIOC_REQBUFS：分配内存
VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中分配的数据缓存转换成物理地址
VIDIOC_QUERYCAP：查询驱动功能
VIDIOC_ENUM_FMT：获取当前驱动支持的视频格式
VIDIOC_S_FMT：设置当前驱动的视频格式
VIDIOC_G_FMT：读取当前驱动的视频格式
VIDIOC_TRY_FMT：验证当前驱动的视频格式
VIDIOC_CROPCAP：查询驱动的修剪能力
VIDIOC_S_CROP：设置视频信号的边框
VIDIOC_G_CROP：读取视频信号的边框
VIDIOC_QBUF：把数据放回缓存队列
VIDIOC_DQBUF：把数据从缓存中读取出来
VIDIOC_STREAMON：开始视频采集
VIDIOC_STREAMOFF：结束视频采集
VIDIOC_QUERYSTD：检查当前视频设备支持的标准，例如PAL或NTSC。
这些IO调用，有些是必须的，有些是可选择的。

在网上有开源的应用simplewebcam，它已经实现了基本的v4l2视频采集流程。大概看下它是怎么做的

操作流程

http://www.hep.by/gnu/kernel/usb/usbfs-ioctl.html

enter description here

代码实现

1. 打开设备驱动节点

int opendevice(int i)
{
    struct stat st;

    sprintf(dev_name,"/dev/video%d",i);

    if (-1 == stat (dev_name, &st)) {
        LOGE("Cannot identify '%s': %d, %s", dev_name, errno, strerror (errno));
        return ERROR_LOCAL;
    }

    if (!S_ISCHR (st.st_mode)) {
        LOGE("%s is no device", dev_name);
        return ERROR_LOCAL;
    }

    fd = open (dev_name, O_RDWR);

    if (-1 == fd) {
        LOGE("Cannot open '%s': %d, %s", dev_name, errno, strerror (errno));
        return ERROR_LOCAL;
    }
    return SUCCESS_LOCAL;
}

2. 查询驱动功能

int initdevice(void) 
{
    struct v4l2_capability cap;
    struct v4l2_format fmt;
    unsigned int min;

    if (-1 == xioctl (fd, VIDIOC_QUERYCAP, &cap)) {
        if (EINVAL == errno) {
            LOGE("%s is no V4L2 device", dev_name);
            return ERROR_LOCAL;
        } else {
            return errnoexit ("VIDIOC_QUERYCAP");
        }
    }

    if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) {
        LOGE("%s is no video capture device", dev_name);
        return ERROR_LOCAL;
    }

    if (!(cap.capabilities & V4L2_CAP_STREAMING)) {
        LOGE("%s does not support streaming i/o", dev_name);
        return ERROR_LOCAL;
    }

    ......

}

3. 设置视频格式

int initdevice(void) 
{
    struct v4l2_capability cap;
    struct v4l2_format fmt;

    ......

    CLEAR (fmt);
    fmt.type                = ;
    fmt.fmt.pix.width       = IMG_WIDTH; 
    fmt.fmt.pix.height      = IMG_HEIGHT;
    fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_MJPEG;

    if (-1 == xioctl (fd, VIDIOC_S_FMT, &fmt))
        return errnoexit ("VIDIOC_S_FMT");

    ......
}

4. 申请帧缓存并映射到用户空间

int initmmap(void)
{
    struct v4l2_requestbuffers req;

    CLEAR (req);
    req.count               = 4;
    req.type                = ;
    req.memory              = V4L2_MEMORY_MMAP;

    if (-1 == xioctl (fd, VIDIOC_REQBUFS, &req)) {
        if (EINVAL == errno) {
            LOGE("%s does not support memory mapping", dev_name);
            return ERROR_LOCAL;
        } else {
            return errnoexit ("VIDIOC_REQBUFS");
        }
    }

    if (req.count < 2) {
        LOGE("Insufficient buffer memory on %s", dev_name);
        return ERROR_LOCAL;
    }

    buffers = calloc (req.count, sizeof (*buffers));

    if (!buffers) {
        LOGE("Out of memory");
        return ERROR_LOCAL;
    }

    for (n_buffers = 0; n_buffers < req.count; ++n_buffers) {
        struct v4l2_buffer buf;

        CLEAR (buf);
        buf.type        = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        buf.memory      = V4L2_MEMORY_MMAP;
        buf.index       = n_buffers;

        if (-1 == xioctl (fd, VIDIOC_QUERYBUF, &buf))
            return errnoexit ("VIDIOC_QUERYBUF");

        buffers[n_buffers].length = buf.length;
        buffers[n_buffers].start =
        mmap (NULL ,
            buf.length,
            PROT_READ | PROT_WRITE,
            MAP_SHARED,
            fd, buf.m.offset);

        if (MAP_FAILED == buffers[n_buffers].start)
            return errnoexit ("mmap");
    }

    return SUCCESS_LOCAL;
}

需要注意的点

调试步骤

通过 lsusb 命令，找到当前 UVC Camera 的 PID 和 VID

root@br6737m_65_s_m0:/ # lsusb
Bus 001 Device 007: ID 058f:5608
Bus 001 Device 001: ID 1d6b:0002

查看摄像头设备节点是否有生成：

root@br6737m_65_s_m0:/ # /dev/video*
/dev/video0

查看摄像头驱动信息：
如果摄像头枚举成功，会输出如下信息：

root@br6737m_65_s_m0:/ # cat /sys/kernel/debug/usb/devices

T:  Bus=01 Lev=01 Prnt=01 Port=00 Cnt=01 Dev#=  7 Spd=480  MxCh= 0
D:  Ver= 2.00 Cls=ef(misc ) Sub=02 Prot=01 MxPS=64 #Cfgs=  1
P:  Vendor=058f ProdID=5608 Rev= 0.03
S:  Manufacturer=Alcor Micro, Corp.
S:  Product=USB 2.0 Camera
C:* #Ifs= 2 Cfg#= 1 Atr=80 MxPwr=200mA
A:  FirstIf#= 0 IfCount= 2 Cls=0e(video) Sub=03 Prot=00
I:* If#= 0 Alt= 0 #EPs= 1 Cls=0e(video) Sub=01 Prot=00 Driver=uvcvideo
E:  Ad=82(I) Atr=03(Int.) MxPS=  16 Ivl=2048ms
I:* If#= 1 Alt= 0 #EPs= 0 Cls=0e(video) Sub=02 Prot=00 Driver=uvcvideo
I:  If#= 1 Alt= 1 #EPs= 1 Cls=0e(video) Sub=02 Prot=00 Driver=uvcvideo
E:  Ad=81(I) Atr=05(Isoc) MxPS=3072 Ivl=125us
I:  If#= 1 Alt= 2 #EPs= 1 Cls=0e(video) Sub=02 Prot=00 Driver=uvcvideo
E:  Ad=81(I) Atr=05(Isoc) MxPS=3072 Ivl=125us
I:  If#= 1 Alt= 3 #EPs= 1 Cls=0e(video) Sub=02 Prot=00 Driver=uvcvideo
E:  Ad=81(I) Atr=05(Isoc) MxPS=3072 Ivl=125us

查看是否遵循 UVC 协议：

lsusb -d 058f:5608 -v | grep "14 Video"
Couldn't open device, some information will be missing
      bFunctionClass         14 Video
      bInterfaceClass        14 Video
      bInterfaceClass        14 Video
      bInterfaceClass        14 Video
      bInterfaceClass        14 Video
      bInterfaceClass        14 Video

打开/关闭linux uvc driver log
sudo echo 0xffff > /sys/module/uvcvideo/parameters/trace 打开
sudo echo 0 > /sys/module/uvcvideo/parameters/trace 关闭
利用测试 App 进行测试。

问题汇总

手机没有对应摄像头，例如手机可能只有两个摄像头，下标从0开始，Camera.open(2)打开的是第3个摄像头就会出问题

private void openCamera(int cameraFacing) throws RuntimeException {  
    releaseCamera();  
    Camera.CameraInfo info = new Camera.CameraInfo();  
    for (int i = 0; i < Camera.getNumberOfCameras(); i++) {  
        Camera.getCameraInfo(i, info);  
        if (info.facing == cameraFacing) {  
            mCamera = Camera.open(i); // 打开对应的摄像头，获取到camera实例  
            mIsOpened = true;  
            return;  
        }  
    }  
}

应用没有对应权限或者对应权限没有打开。

在 AndroidManifest.xml 加上对应权限

<uses-permission android:name="android.permission.CAMERA" />

再检查你的应用对应的权限是否打开

代码中使用了手机不支持的预览尺寸

可以通过如下代码查看你的手机支持的预览尺寸有哪些（不同手机支持的预览大小不一样）

List<Size> previewSizes = mCamera.getParameters().getSupportedPreviewSizes();  
for (int i = 0; i < previewSizes.size(); i++) {  
Size psize = previewSizes.get(i);  
Log.i(TAG + "initCamera", "PreviewSize,width: " + psize.width + " height: " + psize.height);  
}

之后查看log就可以看到了

enter description here

将 USB Camera 插到电脑上，显示如下信息：

[810715.631151] usb 1-9: new high-speed USB device number 102 using xhci_hcd
[810716.055509] usb 1-9: New USB device found, idVendor=058f, idProduct=5608
[810716.055513] usb 1-9: New USB device strings: Mfr=3, Product=1, SerialNumber=0
[810716.055516] usb 1-9: Product: USB 2.0 Camera
[810716.055519] usb 1-9: Manufacturer: Alcor Micro, Corp.
[810716.070201] uvcvideo: Found UVC 1.00 device USB 2.0 Camera (058f:5608)
[810716.072748] uvcvideo 1-9:1.0: Entity type for entity Extension 6 was not initialized!
[810716.072750] uvcvideo 1-9:1.0: Entity type for entity Processing 5 was not initialized!
[810716.072751] uvcvideo 1-9:1.0: Entity type for entity Selector 4 was not initialized!
[810716.072752] uvcvideo 1-9:1.0: Entity type for entity Camera 1 was not initialized!
[810716.072854] input: USB 2.0 Camera: USB 2.0 Camera as /devices/pci0000:00/0000:00:14.0/usb1/1-9/1-9:1.0/input/input31
[810751.767560] usb 1-9: USB disconnect, device number 102

MTK 平台默认不支持 YUV 格式的 UVC, 仅支持 MJPEG 格式的 Camera.

而且因为 USB ISO 优化做的不够好的原因, 仅仅只能支持 1-2 帧的数据传输.
需要合入 USB 2.0 相关的 Patch 才能流畅的(30帧)支持 MJPEG 格式的 UVC camera.

参考

Android USB Camera(1) : 调试记录: https://blog.csdn.net/eternity9255/article/details/53069037

https://www.cnblogs.com/sky-heaven/p/7209590.html
http://bbs.raindi.net/thread-9866-1-1.html
https://blog.csdn.net/eternity9255/article/details/53069037
https://blog.csdn.net/king_jie0210/article/details/71106720
https://blog.csdn.net/panp85/article/details/51087693
https://blog.csdn.net/orz415678659/article/details/10022993

Younix脏羊

关注

0
点赞
踩
16

收藏

觉得还不错? 一键收藏
6
评论
[Android6.0][MTK6737] UVC Camera (MJPEG) 移植

Hardware:MT6737 DeviceOS:Android6.0 Kernel: Linux3.18 HostOS: Ubuntu16.04基础知识USB video class（又称为USB video device class or UVC）就是USB device class视频产品在不需要安装任何的驱动程序下即插即用，包括摄像头、数字摄影机、模拟视频转换器、电视卡及静态...
复制链接

扫一扫