综合实验二 利用智能小车探测环境

 一、实验简介

在病毒环境、生化环境、爆炸环境、火灾环境等特殊环境下，人不能直接进入探测，考虑借助于智能设备完成探测环境、搜救、搬运等任务，考虑采用带摄像头的智能小车实现具体探测功能。

二、实验目的

通过本实验能够综合利用智能小车行走、避障、照相、识别图片色彩和语音播报的功能。

三、实验步骤与结果

1、实验实现功能说明

    本实验通过二维码识别“start”开始运行，语音播报系统，颜色识别算法，小车控制指令，实现了小车识别到包含start信息的二维码时，小车起步，之后边走边识别颜色，并且记录，最后识别到包含stop信息的二维码时，小车停止并返回初始位置，最终播报识别到的颜色。

2、实验整体设计思路

本实验的要求：小车边走路边识别颜色，并且将识别的颜色记录下来，故传统的单线程无法满足需求，所以要引入多线程，我们引入一条线程thread1，令它执行颜色识别和二维码识别的功能，主线程控制小车的运动。

设置开始标志stopFlag为0，在thread1线程中不断捕获摄像头的图像，扫描到start信号后，置开始标志stopFlag为1，跳出死循环，直行-左转，之后设置停止标志stopFlag为0，让小车一直向前走，在thread1中继续不断捕获摄像头，扫描到stop信号后，置停止标志stopFlag为1，跳出直行循环，之后设置程序让小车返回原处。

颜色识别，由于小车一秒捕获的图像较多，颜色识别到像素块颜色过多，会有重复，因此我们书写了比较算法，利用数组统计每种颜色像素块的数量，比较颜色块数量，令数组数值-即数量最多的为识别到的颜色。

3、实验程序

#bgr8转jpeg格式

import enum

import cv2

import time

import numpy as np

import traitlets

import threading

import inspect

import ctypes

#语音播报# 下面的key要换成自己的

import pygame from aip

import AipSpeech

""" 语音技术 APPID AK SK """

SpeechAPP_ID = '17852430'

SpeechAPI_KEY ='eGeO4iQGAjHCrzBTYd1uvTtf'

SpeechSECRET_KEY = 'Cn1EVsUngZDbRLv4OxAFrDHSo8PsvFVP'

#连接客户端

Speechclient = AipSpeech(SpeechAPP_ID, SpeechAPI_KEY, SpeechSECRET_KEY)

#语音播报初始化

pygame.mixer.init()

def voice_play(text, name,sped=2):

    rst = Speechclient.synthesis(text, 'zh', 1, {'spd': sped, 'vol': 10, 'per': 3})#语音文字text

    with open(f'./{name}.mp3', 'wb') as f:

        f.write(rst)#播报text

    pygame.mixer.init()

    pygame.mixer.music.load(f'./{name}.mp3')

    pygame.mixer.music.play()

    time.sleep(0.1)  

#二维码识别。标志位转换函数

stopFlag = 0def  detect_control(info):

    global stopFlag

    if stopFlag == 0:

        if info == "stop":

            robot.Speed_axis_Yawhold_control(0,  0)   #停车

            stopFlag = 1

            voice_play("停止","stop")

    # 代表往回走

    else:

        pass

def bgr8_to_jpeg(value, quality=75):

return bytes(cv2.imencode('.jpg', value)[1])

#导入库并显示摄像头显示组件

# import the necessary packages

#import simple_barcode_detection

import cv2

import pyzbar.pyzbar as pyzbar

from PIL import Image

import ipywidgets.widgets as widgets

#底层驱动方法

from Raspblock import Raspblockrobot = Raspblock()

origin_widget=widgets.Image(format='jpeg',width=280, height=160)

mask_widget = widgets.Image(format='jpeg',width=280,height=160)

result_widget=widgets.Image(format='jpeg',width=280,height=160)

image_container=widgets.HBox([origin_widget,mask_widget,result_widget])

display(image_container)# 二维码

def decodeDisplay(image):

    urls = []

    barcodes = pyzbar.decode(image)

    for barcode in barcodes:

        # 提取二维码的边界框的位置

        # 画出图像中条形码的边界框

        (x, y, w, h) = barcode.rect

        # 提取二维码数据为字节对象，所以如果想在输出图像上

        # 画出来，就需要先将它转换成字符串

        barcodeData = barcode.data.decode("utf-8")

        barcodeType = barcode.type

        # 向终端打印条形码数据和条形码类型

        print("[INFO] Found {} barcode: {}".format(barcodeType, barcodeData))

        urls.append(barcodeData)

    if len(urls) > 0:

        return urls[0]

#线程def _async_raise(tid, exctype):

    tid = ctypes.c_long(tid)

    if not inspect.isclass(exctype):

        exctype = type(exctype)

    res=ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))

    if res == 0:

        raise ValueError("invalid thread id")

    elif res != 1:

        ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)

        def stop_thread(thread):

_async_raise(thread.ident, SystemExit)

# 摄像头参数

cap = cv2.VideoCapture(0)

cap.set(3, 560)

cap.set(4, 420)

cap.set(5, 10)  

cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter.fourcc('M', 'J', 'P', 'G'))

width  =280   

height =160   

color = [0,0,0,0,0,0,0,0,0]

#color数组初始化

# #红色区间

red_color_lower = np.array([0, 43, 46])red_color_upper = np.array([10, 255, 255])

# #绿色区间

green_color_lower = np.array([35, 43, 46])green_color_upper = np.array([77, 255, 255])

# #蓝色区间

blue_color_lower=np.array([100, 43, 46])blue_color_upper = np.array([124, 255, 255])

# #黄色区间

yellow_color_lower = np.array([26, 43, 46])yellow_color_upper = np.array([34, 255, 255])

# #橙色区间

orange_color_lower = np.array([11, 43, 46])orange_color_upper = np.array([25, 255, 255])

color_results = []gray = Nonedef Color_Recongnize():

    global gray

    while(1):

        ret, frame = cap.read()

        #cv2.imshow('Capture', frame)

        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        im = decodeDisplay(gray)

        if im:

            detect_control(im)

            print(im)

        origin_widget.value = bgr8_to_jpeg(frame)

         # change to hsv model

        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

        red_mask = cv2.inRange(hsv, red_color_lower, red_color_upper)

        orange_mask = cv2.inRange(hsv, orange_color_lower, orange_color_upper)

        yellow_mask = cv2.inRange(hsv, yellow_color_lower, yellow_color_upper)

        green_mask = cv2.inRange(hsv, green_color_lower, green_color_upper)

        blue_mask = cv2.inRange(hsv,blue_color_lower, blue_color_upper)

        # 247需要

        for i in range(height-10,height+10):

            for j in range(width-10,width+10):

                if red_mask[i,j] == 255:

                    color[1] +=1

                if orange_mask[i,j] == 255:

                    color[2] +=1

                if yellow_mask[i,j] == 255:

                    color[3] +=1

                if green_mask[i,j] == 255:

                    color[4] +=1

                if blue_mask[i,j] == 255:

                    color[5] +=1

        max = 0

        for i in range(8):

            if color[i]>color[max]:

                max = i

        result = [""]  

        if max ==1:

            result = ("红色", 'zh', 1, {'spd': 2, 'vol': 15, 'per': 1})

       ## if max ==2:

            #result = ("橙色", 'zh', 1, {'spd': 2, 'vol': 15, 'per': 1})

        if max ==3:

            result = ("黄色", 'zh', 1, {'spd': 2, 'vol': 15, 'per': 1})

        if max ==4:

            result = ("绿色", 'zh', 1, {'spd': 2, 'vol': 15, 'per': 1})

        #if max ==5:

            #result = ("蓝色", 'zh', 1, {'spd': 2, 'vol': 15, 'per': 1})

        colRst = result[0]

        if colRst not in color_results:

            color_results.append(colRst)

            

        print(colRst,end=" ")

        for i in range(len(color)):

            color[i] = 0

#启动进程

thread1=threading.Thread(target=Color_Recongnize)

thread1.setDaemon(True)thread1.start()robot = Raspblock()

# 开始标志startFlag = 0

while startFlag == 0:

    if type(gray) != type(None):

        ifo = decodeDisplay(gray)

        if ifo == "start":

            # 检测到开始信号，退出循环

            startFlag = 1

            break#初始检测到start信号后退

voice_play("down","down")for i in range(28):

    robot.Speed_axis_Yawhold_control(0,  -5)#后退

    time.sleep(0.1)   

    for i in range(24):

    robot.Speed_Wheel_control(-2, -2, -6, -6)#右后转

    time.sleep(0.1)    

# 让小车不停的倒退，直到检测到stop信号

voice_play("down","down")while stopFlag == 0:

    robot.Speed_axis_Yawhold_control(0,  -5)#后退

    time.sleep(0.1)

voice_play("forward","forward")for i in range(135):  #待调

    robot.Speed_axis_Yawhold_control(0,  5)

    time.sleep(0.1)

    voice_play("right","come back")for i in range(24):

    robot.Speed_Wheel_control(2, 2, 6, 6)#右转

    time.sleep(0.1)

    voice_play("forward","forward")for i in range(15):  #待调

    robot.Speed_axis_Yawhold_control(0,  5)

    time.sleep(0.1)

# 语音播报识别到的颜色t

ext = "识别颜色为" +",".join(color_results)voice_play(text,"rscolor")

# 语音播报识别到的颜色#结束进程，只有在结束时才需要执行此段代码

stop_thread(thread1)

4.实验结果

见文件夹中，以视频形式提交。

四、实验分析

1、实验总结与收获

实验通过程序设计达到预期。通过视觉识别、语音合成、图像处理、小车控制等完成实验目标。但是，识别效果达不到理想，主要原因是所用的算法无法高效规避误差。

2、实验收获

（1）实验中使用了多线程来实现同时进行图像处理和小车控制的功能。这有助于更好地理解了多线程编程的原理和应用。

（2）实验中，需要不断调试小车运动代码，以适应地形，需要非常多的耐心。

（3）颜色识别过程中，需精准的描述各颜色值区间，避免误判，并且，在不同光线环境条件下需不断调试颜色数值区间，来准确判断识别颜色。

（4）此外，释放线程、增加break、字符串与指令相互转换等操作，在后续的程序设计中都可以运用借鉴。

3、其他（实验建议或意见）

关于多线程，函数定义和opencv精准识别颜色方法的介绍，摄像头的使用注意事项提醒。