** 本文主要介绍ZED2相机以及具有的功能,ZED2相机(这里使用ZED2相机,主要是因为视频流传输功能目前只有ZED2、ZED mini等新版本相机才有的功能)**
本文所使用的环境:
python:3.8
CUDA:10.2
需要安装的python库:pyzed(安装好ZED SDK后安装)、opencv(cv2)、sys
接收端(服务端):测试过的有Windows10、Linux(Ubuntu18.04)
发送端(客户端):目前测试过的有Windows10、Jetson(Ubuntu18.04)
ZED官网:https://www.stereolabs.com
参考博客:ZED2相机SDK安装使用及ROS下使用
【ZED】从零开始使用ZED相机(一):windows下的安装配置与测试
一、ZED2相机简介
ZED2相机官网地址:https://www.stereolabs.com/zed-2/
ZED2相机也是一款深度相机,下图是官网介绍
ZED2相机具有诸多功能,这里不一一介绍,本文主要使用到其中的视频流传输功能,首先需要在电脑上安装ZED SDK。
二、ZED SDK安装与使用
- 首先点击官网上面菜单栏中的开发者选项,选择ZED SDK Dowloads,如下图所示
- 然后点击页面中出现的SDK DOWLOAD,选择你所需要下载的版本,页面所示为最新版ZED SDK4.0.
3. 根据自己电脑的所安装的CUDA版本和所需要安装的平台,比如Windows、linux、Jetson等。下载对应的 ZED SDK,截止目前ZED SDK版本已经更新到4.0,要想安装早一些的版本需要找到页面下方,如图所示的位置,点击release archive
进去后可以看到ZED SDK的历史版本,根据所需点击想要的版本,这里我选择ZED SDK3.8版本
我使用的是windows10电脑安装的 CUDA版本是10.2,因此我选择安装的版本如下图所示,我框选出的既有Windows10版本也有,Ubuntu18版本,也有NVIDIA Jetson版本。
3. 打开安装包,根据所需安装在你所需要的位置上,记住安装路径。这里不详细介绍,可以参考这篇博主的文章【ZED】从零开始使用ZED相机(一):windows下的安装配置与测试,对了,CUDA版本的安装也可以参考他的博客步骤进行。
4.按照上述博客文章,安装好ZED SDK 并配置好python环境下的pyzed包,确保可以正确调用,环境配置就大功告成。
三、官网例程与文档
ZED官方给了很多可提供的资源如下图,
比如官方例程以及功能实现的技术文档,技术文档其地址为:https://www.stereolabs.com/docs/,通过查看文档,可以知道相机可以实现哪些功能,以及一些实现的功能的函数主要代码等等,这个文档相当给力!!多看!!(网址如果打不开,需要FQ去看),也可以知道哪些相机实现不了对应的功能,没有买相机可以先看看这个文档,根据所需的功能去购买,不花冤枉钱!!。
官方例程,网址如果打不开懒得翻墙可以在这下载:zed-example,有需要的私聊我可以私发(免费),有python、c++、c#等程序版本,包含诸多功能的实现,例如获取深度图像、视频流传输、行人目标检测、人体骨骼检测等功能,感兴趣可以下载,挨个去进行测试,但确保相机本身可以实现这些功能,官网界面给的是C++和Python的例程。
python程序
本文均以都为Windows10下做测试,也做过客户端为Jetson Nano,服务端分别为Windows10和Ubuntu18的测试,代码基本没啥变化,环境配置好后代码直接可以使用。
将ZED2相机连接在客户端上,程序运行先运行服务端程序,保证服务端正常运行,查看服务端IP地址,客户端与服务端连接时需要使用。
之后运行客户端程序,运行客户端程序时,最好利用命令行窗口去运行,方便输入服务端IP地址。例如:python client.py 192.168.XX.X
发送端(客户端)
import pyzed.sl as sl
def main():
init = sl.InitParameters()
init.camera_resolution = sl.RESOLUTION.HD720
init.depth_mode = sl.DEPTH_MODE.NONE
cam = sl.Camera()
status = cam.open(init)
if status != sl.ERROR_CODE.SUCCESS:
print(repr(status))
exit(1)
runtime = sl.RuntimeParameters()
stream = sl.StreamingParameters()
stream.codec = sl.STREAMING_CODEC.H264
stream.bitrate = 4000
status = cam.enable_streaming(stream)
if status != sl.ERROR_CODE.SUCCESS:
print(repr(status))
exit(1)
print(" Quit : CTRL+C\n")
while True:
err = cam.grab(runtime)
cam.disable_streaming()
cam.close()
if __name__ == "__main__":
main()
接收端(服务端)
import sys
import pyzed.sl as sl
import cv2
def main():
init = sl.InitParameters()
init.camera_resolution = sl.RESOLUTION.HD720
init.depth_mode = sl.DEPTH_MODE.PERFORMANCE
if (len(sys.argv) > 1) :
ip = sys.argv[1]
init.set_from_stream(ip)
else :
print('Usage : python3 streaming_receiver.py ip')
exit(1)
cam = sl.Camera()
status = cam.open(init)
if status != sl.ERROR_CODE.SUCCESS:
print(repr(status))
exit(1)
runtime = sl.RuntimeParameters()
mat1 = sl.Mat()
mat2 = sl.Mat()
key = ''
print(" Quit : CTRL+C\n")
while key != 113:
err = cam.grab(runtime)
if (err == sl.ERROR_CODE.SUCCESS) :
cam.retrieve_image(mat1, sl.VIEW.LEFT)
cam.retrieve_image(mat2, sl.VIEW.RIGHT)
cv2.imshow("ZED", mat1.get_data())
cv2.imshow("ZED_right", mat2.get_data())
key = cv2.waitKey(1)
else :
key = cv2.waitKey(1)
cam.close()
if __name__ == "__main__":
main()
如果服务端接收到到客户端图像,将显示相机拍到的RGB图像,将相机左图像和右图像均显示出来,移动相机可以看到画面实时性很高,作为局域网内的图像传输完全实现实时性的要求。