Jetson 学习笔记(六):cv2调用CSI摄像头(jetson nx/nano)、打开海康摄像头、打开电脑摄像头

✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️

多平台多类型摄像头使用指南：从海康到 Jetson 设备

在计算机视觉和多媒体应用领域，摄像头的使用是极为常见的操作。不同类型的摄像头以及不同的设备平台，其使用方法和配置方式各有差异。本文将详细介绍海康摄像头、电脑摄像头、Jetson NX/Nano 设备上的 CSI 摄像头以及 USB 摄像头的使用方法，涵盖代码实现、原理讲解以及常见问题处理等内容。

海康摄像头

海康威视摄像头以其高可靠性和广泛的应用场景而备受青睐。在使用海康摄像头时，我们借助多进程和 OpenCV 库来实现视频流的获取和展示。

代码实现

import cv2
import multiprocessing as mp

num = 0


def image_put(q, name, pwd, ip, channel):
    #cv2.namedWindow(ip, cv2.WINDOW_NORMAL)
    global url
    url = "rtsp://%s:%s@%s:%s//Streaming/Channels/1" \
          % (name, pwd, ip, channel)
    cap = cv2.VideoCapture(url)
    # 获取视频帧率
    fps = cap.get(cv2.CAP_PROP_FPS)
    print('fps: ', fps)
    if cap.isOpened():
        print('HIKVISION1')
        print('camera'+ ip + " connected.")
    while cap.isOpened():
        ret, frame = cap.read()
        # 抓取图片不成功再重新抓取
        if not ret:
            cap = cv2.VideoCapture("rtsp://%s:%s@%s:%s//Streaming/Channels/1" \
                                   % (name, pwd, ip, channel))
            print('HIKVISION2')
            ret, frame = cap.read()
            frame = cv2.resize(frame, (800, 600))
        cv2.imshow(ip, frame)
        # Press esc on keyboard to  exit
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cap.release()


# 解决进程问题
def run_multi_camera():
    user_name, user_pwd = "admin", "a12345678"
    camera_ip_l = ["10.16.14.151", ]
    ports = ['556']
    mp.set_start_method(method='spawn')  # init
    queues = [mp.Queue(maxsize=2) for _ in camera_ip_l]
    processes = []
    for queue, camera_ip, port in zip(queues, camera_ip_l, ports):
        processes.append(mp.Process(target=image_put, args=(queue, user_name, user_pwd, camera_ip, port)))
    for process in processes:
        process.daemon = True
        process.start()
    for process in processes:
        process.join()


if __name__ == '__main__':
    run_multi_camera()

代码解析

1. 导入模块：引入 cv2 库用于处理图像和视频，multiprocessing 库用于实现多进程操作。
2. 定义 image_put 函数：该函数负责从海康摄像头获取视频流并显示。
   • 构建 RTSP 地址：根据传入的用户名、密码、IP 地址和端口号构建 RTSP 地址，用于连接摄像头。
   • 打开摄像头：使用 cv2.VideoCapture 打开摄像头，并获取视频帧率。
   • 读取和显示帧：在循环中持续读取视频帧，若读取失败则尝试重新连接。读取到的帧会被调整大小并显示在窗口中，用户按下 Esc 键可退出循环。
3. 定义 run_multi_camera 函数：负责初始化多进程环境，为每个摄像头创建一个进程来执行 image_put 函数。
   • 设置用户名和密码：设置海康摄像头的默认用户名和密码。
   • 定义摄像头信息：指定摄像头的 IP 地址和端口号。
   • 初始化多进程：设置多进程启动方式为 spawn，创建队列和进程，并启动和等待所有进程完成。

电脑摄像头

电脑自带的摄像头是最常见的图像输入设备之一，使用 OpenCV 可以轻松实现对其的访问和图像获取。

代码实现

import cv2
cap = cv2.VideoCapture(0)
while cap.isOpened():
    cv2.namedWindow('Pc-camera', cv2.WINDOW_NORMAL)
    ret, frame = cap.read()
    frame = cv2.resize(frame, (800, 600))
    cv2.imshow('Pc-camera', frame)
    # Press esc on keyboard to  exit
    if cv2.waitKey(1) & 0xFF == 27:
        break
cap.release()
cv2.destroyWindow()

代码解析

1. 打开摄像头：使用 cv2.VideoCapture(0) 打开电脑默认的摄像头设备。
2. 循环读取和显示帧：在循环中持续读取摄像头的帧，将帧调整大小后显示在名为 Pc-camera 的窗口中。用户按下 Esc 键可退出循环。
3. 释放资源：循环结束后，使用 cap.release() 释放摄像头资源，cv2.destroyWindow() 关闭窗口。需要注意的是，原代码中 cv2.destroyWindow() 应改为 cv2.destroyAllWindows() 以确保所有相关窗口都被正确关闭。

Jetson NX/Nano - CSI

Jetson NX 和 Jetson Nano 是 NVIDIA 推出的两款强大的嵌入式计算平台，其 CSI（Camera Serial Interface）接口可连接高性能摄像头。下面介绍两种使用 CSI 摄像头的方法。

方法 1：使用 Gstreamer

使用 Gstreamer 读取 CSI 摄像头主要分为 3 个步骤：创建 Gstreamer 管道；将管道绑定 OpenCV 的视频流；逐帧提取和显示。

代码实现

import cv2

# 设置 gstreamer 管道参数
def gstreamer_pipeline(
        capture_width=1280,  # 摄像头预捕获的图像宽度
        capture_height=720,  # 摄像头预捕获的图像高度
        display_width=1280,  # 窗口显示的图像宽度
        display_height=720,  # 窗口显示的图像高度
        framerate=60,        # 捕获帧率
        flip_method=0        # 是否旋转图像
):
    return (
        "nvarguscamerasrc! "
        "video/x-raw(memory:NVMM), "
        "width=(int)%d, height=(int)%d, "
        "format=(string)NV12, framerate=(fraction)%d/1! "
        "nvvidconv flip-method=%d! "
        "video/x-raw, width=(int)%d, height=(int)%d, format=(string)BGRx! "
        "videoconvert! "
        "video/x-raw, format=(string)BGR! appsink"
        % (
            capture_width,
            capture_height,
            framerate,
            flip_method,
            display_width,
            display_height,
        )
    )


if __name__ == "__main__":
    capture_width = 1280
    capture_height = 720
    display_width = 1280
    display_height = 720
    framerate = 60
    flip_method = 0

    # 创建管道
    print(gstreamer_pipeline(capture_width, capture_height, display_width, display_height, framerate, flip_method))

    # 管道与视频流绑定
    cap = cv2.VideoCapture(gstreamer_pipeline(flip_method=0), cv2.CAP_GSTREAMER)

    if cap.isOpened():
        window_handle = cv2.namedWindow("CSI Camera", cv2.WINDOW_AUTOSIZE)

        # 逐帧显示
        while cv2.getWindowProperty("CSI Camera", 0) >= 0:
            ret_val, img = cap.read()
            cv2.imshow("CSI Camera", img)

            keyCode = cv2.waitKey(30) & 0xFF
            if keyCode == 27:  # ESC 键退出
                break

        cap.release()
        cv2.destroyAllWindows()
    else:
        print("打开摄像头失败")

代码解析

1. 定义 gstreamer_pipeline 函数：该函数用于构建 Gstreamer 管道字符串，包含摄像头的捕获参数、图像格式转换以及输出设置等。
2. 主程序部分：
   • 设置参数：定义摄像头的捕获和显示参数。
   • 创建管道：调用 gstreamer_pipeline 函数创建管道字符串。
   • 绑定视频流：使用 cv2.VideoCapture 将管道与 OpenCV 的视频流绑定。
   • 显示帧：在循环中持续读取视频帧并显示，用户按下 Esc 键退出循环。循环结束后释放资源并关闭窗口。

方法 2：通过 jetcam

jetcam 是用于 NVIDIA Jetson 的易于使用的 Python 摄像头界面，通过它可以更便捷地操作 CSI 摄像头。

安装过程

详细的安装过程可参考 https://blog.csdn.net/weixin_45569617/article/details/113934118。

具体运行代码

from jetcam.csi_camera import CSICamera
import cv2

camera0 = CSICamera(capture_device=0, width=224, height=224)
#camera1 = CSICamera(capture_device=1, width=224, height=224)
image0 = camera0.read()
print(image0.shape)
#image1 = camera1.read()
#print(image1.shape)
print(camera0.value.shape)
#print(camera1.value.shape)
while 1:
    image0 = camera0.read()
    #image1 = camera1.read()
    cv2.imshow("CSI Camera0", image0)
    #cv2.imshow("CSI Camera1", image1)
    kk = cv2.waitKey(1)
    if kk == ord('q'):  # 按下 q 键，退出
        break

代码解析

1. 导入模块：从 jetcam.csi_camera 导入 CSICamera 类用于操作 CSI 摄像头，导入 cv2 用于显示图像。
2. 初始化摄像头：创建 CSICamera 实例，设置捕获设备编号、图像宽度和高度。
3. 读取和显示图像：读取摄像头的图像，打印图像形状，并在循环中持续读取和显示图像。用户按下 q 键可退出循环。

Jetson Nano/Nx - USB

在 Jetson Nano 和 Jetson NX 设备上使用 USB 摄像头时，需要先判断设备是否识别到摄像头，然后进行相应的操作。

摄像头检测与准备

1. 若摄像头是开机插上的，可能需要先关机重启设备，摄像头才会被正确识别。
2. 开机后，在终端输入 ls /dev/video* 查看是否有摄像头设备。
3. 输入 nvgstcapture 一般可以直接打开摄像头，若要关闭，直接关闭终端即可。
4. 若摄像头未被正确识别，可尝试更新系统：sudo apt-get update 和 sudo apt-get upgrade。

代码实现

import cv2

# 创建摄像头捕获模块
cap = cv2.VideoCapture(1)

# 创建窗口
window_handle = cv2.namedWindow("USB Camera", cv2.WINDOW_AUTOSIZE)

# 逐帧显示
while cv2.getWindowProperty("USB Camera", 0) >= 0:
    ret_val, img = cap.read()
    print(img.shape)

    # 图像太大需要调整
    height, width = img.shape[0:2]
    if width > 800:
        new_width = 800
        new_height = int(new_width / width * height)
        img = cv2.resize(img, (new_width, new_height))

    cv2.imshow("USB Camera", img)

    keyCode = cv2.waitKey(30) & 0xFF
    if keyCode == 27:  # ESC 键退出
        break

# 释放资源
cap.release()
cv2.destroyAllWindows()

代码解析

1. 打开摄像头：使用 cv2.VideoCapture(1) 打开 USB 摄像头设备，其中 1 是摄像头的标识，实际使用时可能需要通过测试确定。
2. 创建窗口：创建名为 USB Camera 的窗口用于显示图像。
3. 读取和显示帧：在循环中持续读取摄像头的帧，若图像宽度超过 800，则等比缩放图像后显示。用户按下 Esc 键可退出循环。
4. 释放资源：循环结束后，释放摄像头资源并关闭窗口。

通过以上详细的介绍和代码示例，相信读者能够在不同的设备平台上熟练使用各种类型的摄像头，为计算机视觉和多媒体应用开发打下坚实的基础。希望本文对大家有所帮助，如有任何疑问或建议，欢迎在评论区留言交流。

✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️