1、换源(阿里)
deb https://mirrors.aliyun.com/raspbian/raspbian/ buster main non-free contrib
deb-src https://mirrors.aliyun.com/raspbian/raspbian/ buster main non-free contrib
2、安装opencv
sudo apt-get install python3-opencv
4、使用socket向win传视频
提供视频一端
import socket
import threading
import struct
import time
import cv2
import numpy
#
# 服务器分析:
#
# 1. 先通过在服务器端利用OpenCV捕获到视频的每一帧图片
#
# 2. 将这些图片进行压缩成JPEG格式,这样能减小图片大小,便于传输
#
# 3. 按照提前协商好的分辨率和帧数进行打包编码传输
#
# 4. 利用服务器端打开端口8880,此时客户端连接后,便可以在客户端中捕获到服务器端的视频。
class Carame_Accept_Object:
def __init__(self,S_addr_port=("",8880)): #S_addr_port 是一个元组 ,self初始化对应的实例变量
self.resolution=(640,480) #执行该实例化的分辨率,self相当于int,定义的意思
self.addr_port=S_addr_port #地址绑定,addr_port 对应的端口号
self.Set_Socket(self.addr_port) #建立连接,调用一个函数
#设置套接字
def Set_Socket(self,S_addr_port):
self.server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #选择TCP协议连接
self.server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #端口可复用
self.server.bind(S_addr_port) #绑定端口号
self.server.listen(5) #监听端口号
#print("the process work in the port:%d" % S_addr_port[1])
def check_option(object,client): #按格式解码,确定帧数和分辨率,定义一个函数
info=struct.unpack('lhh',client.recv(8)) #将接受到的传输帧数,分辨率解码
if info[0]>888: #若第一个数值
object.img_fps=int(info[0])-888 #获取帧数
object.resolution=list(object.resolution) # 获取分辨率
object.resolution[0]=info[1]
object.resolution[1]=info[2]
object.resolution = tuple(object.resolution)
return 1
else:
return 0
def RT_Image(object,client,D_addr):
if(check_option(object,client)==0):
return
camera=cv2.VideoCapture(0) #从摄像头中获取视频
img_param=[int(cv2.IMWRITE_JPEG_QUALITY),object.img_fps] #设置传送图像格式、帧数
while(1):
time.sleep(0.1) #推迟线程运行0.1s
_,object.img=camera.read() #读取视频每一帧
object.img=cv2.resize(object.img,object.resolution) #按要求调整图像大小(resolution必须为元组)
_,img_encode=cv2.imencode('.jpg',object.img,img_param) #按格式生成图片
img_code=numpy.array(img_encode) #转换成矩阵
object.img_data=img_code.tostring() #生成相应的字符串
try:
client.send(struct.pack("lhh",len(object.img_data),object.resolution[0],object.resolution[1])+object.img_data) #按照相应的格式进行打包发送图片 t图传指令
except:
camera.release() #释放资源
return
if __name__ == '__main__':
camera=Carame_Accept_Object() #执行这个类
while(1):
client,D_addr=camera.server.accept() #服务器接受到来自客户端的连接,收到客户端的信息为
clientThread=threading.Thread(None,target=RT_Image,args=(camera,client,D_addr,)) # target: 是通过run()方法调用的可调用对象,args:元组参数,为target所调用的
clientThread.start()
接收端
import socket
import cv2
import threading
import struct
import numpy
#TCP连接
#1. 客户端连接端口后,首先发送需要协商的分辨率和帧数,以致能够使传输“协议”一致
#2. 客户端使用线程,对图片进行收集
#3. 对收到的每一张图片进行解码,并利用OpenCV播放出来,即可实现C/S两端实时视频传输。
#4 利用服务器端打开端口8880,此时客户端连接后,便可以在客户端中捕获到服务器端的视频。
class Camera_Connect_Object: #定义一个摄像头类
def __init__(self,D_addr_port=["",8880]): #类的构造函数,当创建了这个类的实例时就会调用该方法
self.resolution=[640,480] #self 代表类的实例
self.addr_port=D_addr_port #绑定的端口和ip
self.src=888+15 #双方确定传输帧数,(888)为校验值
self.interval=0 #图片播放时间间隔
self.img_fps=15 #每秒传输多少帧数
def Socket_Connect(self):
self.client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 选择TCP连接方式
self.client.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) # 操作系统会在服务器socket被关闭或服务器进程终止后马上释放该服务器的端口,否则操作系统会保留几分钟该端口。
self.client.connect(self.addr_port) #连接对应的端口位置,包括IP和端口,传输给客户端
print("IP is %s:%d" % (self.addr_port[0],self.addr_port[1])) #输入连接的IP和端口号
def RT_Image(self):
self.name=self.addr_port[0]+" Camera"
self.client.send(struct.pack("ihh", self.src, self.resolution[0], self.resolution[1])) #按照格式打包发送帧数和分辨率
while(1):
info=struct.unpack("lhh",self.client.recv(8)) #将接收到的8位二进制解包
buf_size=info[0] #获取读的图片总长度
if buf_size:
try:
self.buf=b"" #代表bytes类型
temp_buf=self.buf
while(buf_size): #读取每一张图片的长度
temp_buf=self.client.recv(buf_size)
buf_size-=len(temp_buf)
self.buf+=temp_buf #获取图片
data = numpy.fromstring(self.buf, dtype='uint8') #按uint8转换为图像矩阵
self.image = cv2.imdecode(data, 1) #图像解码
cv2.imshow(self.name, self.image) #展示图片
except:
pass;
finally:
if(cv2.waitKey(10)==27): #每10ms刷新一次图片,按‘ESC’(27)退出
self.client.close()
cv2.destroyAllWindows()
break
def Get_Data(self,interval):
showThread=threading.Thread(target=self.RT_Image)
showThread.start()
if __name__ == '__main__':
camera=Camera_Connect_Object()
camera.addr_port[0]=input("Please input IP:")
camera.addr_port=tuple(camera.addr_port)
camera.Socket_Connect()
camera.Get_Data(camera.interval)
注意:
在linx下l为8位,在win下l为4位,所以在linux下使用需要把lhh 改为ihh ,i为整型4位长
5、目标检测模型部署
yolo-faster,使用cpu进行实时检测,适合部署在树莓派上。
github项目地址
模型部署参考博文
6、关于树莓派控制电机
控制电机实验已做完,但是实验平台是面包板,将树莓派部署在机器人上时,当有一个设备用来连接树莓派和电机,L298N电机驱动板模块可以达到这个目的。
7、远程连接树莓派桌面