ZED相机使用记录(一)：利用ZED SDK使用python完成局域网内的远程视频(视频流)传输

** 本文主要介绍ZED2相机以及具有的功能，ZED2相机(这里使用ZED2相机，主要是因为视频流传输功能目前只有ZED2、ZED mini等新版本相机才有的功能)**
本文所使用的环境：
python：3.8
CUDA:10.2
需要安装的python库：pyzed(安装好ZED SDK后安装)、opencv(cv2)、sys
接收端（服务端）：测试过的有Windows10、Linux(Ubuntu18.04)
发送端（客户端）：目前测试过的有Windows10、Jetson（Ubuntu18.04）
ZED官网：https://www.stereolabs.com
参考博客：ZED2相机SDK安装使用及ROS下使用
【ZED】从零开始使用ZED相机（一）：windows下的安装配置与测试

一、ZED2相机简介

ZED2相机官网地址：https://www.stereolabs.com/zed-2/

ZED2相机也是一款深度相机，下图是官网介绍

ZED2相机具有诸多功能，这里不一一介绍，本文主要使用到其中的视频流传输功能，首先需要在电脑上安装ZED SDK。

二、ZED SDK安装与使用

1. 首先点击官网上面菜单栏中的开发者选项，选择ZED SDK Dowloads，如下图所示
   
2. 然后点击页面中出现的SDK DOWLOAD，选择你所需要下载的版本，页面所示为最新版ZED SDK4.0. 3. 根据自己电脑的所安装的CUDA版本和所需要安装的平台，比如Windows、linux、Jetson等。下载对应的 ZED SDK，截止目前ZED SDK版本已经更新到4.0，要想安装早一些的版本需要找到页面下方，如图所示的位置，点击release archive
   进去后可以看到ZED SDK的历史版本，根据所需点击想要的版本，这里我选择ZED SDK3.8版本
   

我使用的是windows10电脑安装的 CUDA版本是10.2，因此我选择安装的版本如下图所示，我框选出的既有Windows10版本也有，Ubuntu18版本，也有NVIDIA Jetson版本。

3. 打开安装包，根据所需安装在你所需要的位置上，记住安装路径。这里不详细介绍，可以参考这篇博主的文章【ZED】从零开始使用ZED相机（一）：windows下的安装配置与测试,对了，CUDA版本的安装也可以参考他的博客步骤进行。
4.按照上述博客文章，安装好ZED SDK 并配置好python环境下的pyzed包，确保可以正确调用，环境配置就大功告成。

三、官网例程与文档

ZED官方给了很多可提供的资源如下图，

比如官方例程以及功能实现的技术文档，技术文档其地址为：https://www.stereolabs.com/docs/，通过查看文档，可以知道相机可以实现哪些功能，以及一些实现的功能的函数主要代码等等，这个文档相当给力！！多看！！(网址如果打不开，需要FQ去看)，也可以知道哪些相机实现不了对应的功能，没有买相机可以先看看这个文档，根据所需的功能去购买，不花冤枉钱！！。

官方例程,网址如果打不开懒得翻墙可以在这下载：zed-example，有需要的私聊我可以私发（免费），有python、c++、c#等程序版本，包含诸多功能的实现，例如获取深度图像、视频流传输、行人目标检测、人体骨骼检测等功能，感兴趣可以下载，挨个去进行测试，但确保相机本身可以实现这些功能，官网界面给的是C++和Python的例程。

python程序

本文均以都为Windows10下做测试，也做过客户端为Jetson Nano，服务端分别为Windows10和Ubuntu18的测试，代码基本没啥变化，环境配置好后代码直接可以使用。
将ZED2相机连接在客户端上，程序运行先运行服务端程序，保证服务端正常运行,查看服务端IP地址，客户端与服务端连接时需要使用。
之后运行客户端程序，运行客户端程序时，最好利用命令行窗口去运行，方便输入服务端IP地址。例如：python client.py 192.168.XX.X

发送端(客户端)

import pyzed.sl as sl

def main():

    init = sl.InitParameters()
    init.camera_resolution = sl.RESOLUTION.HD720
    init.depth_mode = sl.DEPTH_MODE.NONE
    cam = sl.Camera()
    status = cam.open(init)
    if status != sl.ERROR_CODE.SUCCESS:
        print(repr(status))
        exit(1)

    runtime = sl.RuntimeParameters()

    stream = sl.StreamingParameters()
    stream.codec = sl.STREAMING_CODEC.H264
    stream.bitrate = 4000
    status = cam.enable_streaming(stream)
    if status != sl.ERROR_CODE.SUCCESS:
        print(repr(status))
        exit(1)

    print("  Quit : CTRL+C\n")
    while True:
        err = cam.grab(runtime)

    cam.disable_streaming()
    cam.close()

if __name__ == "__main__":
    main()

接收端（服务端）

import sys
import pyzed.sl as sl
import cv2


def main():

    init = sl.InitParameters()
    init.camera_resolution = sl.RESOLUTION.HD720
    init.depth_mode = sl.DEPTH_MODE.PERFORMANCE

    if (len(sys.argv) > 1) :
        ip = sys.argv[1]
        init.set_from_stream(ip)
    else :
        print('Usage : python3 streaming_receiver.py ip')
        exit(1)

    cam = sl.Camera()
    status = cam.open(init)
    if status != sl.ERROR_CODE.SUCCESS:
        print(repr(status))
        exit(1)

    runtime = sl.RuntimeParameters()
    mat1 = sl.Mat()
    mat2 = sl.Mat()

    key = ''
    print("  Quit : CTRL+C\n")
    while key != 113:
        err = cam.grab(runtime)
        if (err == sl.ERROR_CODE.SUCCESS) :
            cam.retrieve_image(mat1, sl.VIEW.LEFT)
            cam.retrieve_image(mat2, sl.VIEW.RIGHT)
            cv2.imshow("ZED", mat1.get_data())
            cv2.imshow("ZED_right", mat2.get_data())
            key = cv2.waitKey(1)
        else :
            key = cv2.waitKey(1)

    cam.close()

if __name__ == "__main__":
    main()

如果服务端接收到到客户端图像，将显示相机拍到的RGB图像，将相机左图像和右图像均显示出来，移动相机可以看到画面实时性很高，作为局域网内的图像传输完全实现实时性的要求。