【人工智能Ⅰ】实验5：AI实验箱应用之贝叶斯

实验5 AI实验箱应用之贝叶斯

一、实验目的

1. 用实验箱的摄像头拍摄方块上数字的图片，在图像处理的基础上，应用贝叶斯方法识别图像中的数字并进行分类。

二、实验内容和步骤

1. 应用实验箱机械手臂上的摄像头拍摄图像；

2. Opencv处理图像；

3. 用贝叶斯方法识别处理后图像中的数字；

4. 驱动机械臂移动识别出的数字方块。

三、实验结果和分析

1. 对给出程序的主要模块添加注释，并运行完成实验步骤

程序主要模块的注释

（1）bayes_classify_movethings\img_rec\bayes_classfier.py

import numpy as np      # 导入numpy库，用于数学运算 import cv2              # 导入opencv库，用于图像处理 # 图像二值化函数 def imgBinaryzation(imgs):     global cv_img                           # 定义全局变量cv_img     for i in range(len(imgs)):              # 遍历图像数组         cv_img = imgs[i].astype(np.uint8)   # 将图像转换为uint8类型             cv2.threshold(cv_img, 50, 1, cv2.THRESH_BINARY_INV, cv_img) # 应用阈值操作进行图像二值化         imgs[i] = cv_img                    # 更新原图像数组         print(cv_img.reshape(28, 28))       # 打印变换后的图像     return imgs                             # 返回二值化后的图像数组 # 训练贝叶斯分类器函数 def train(imgs, labels, classNum, featureNum, valueZone):     priPro = np.zeros(classNum)             # 初始化先验概率数组     condPro = np.zeros((classNum, featureNum, valueZone))  # 初始化条件概率数组     # 计算先验概率和条件概率     for i in range(len(labels)):            # 遍历所有标签         img = imgs[i]                       # 获取对应的图像         label = labels[i][0]                # 获取图像对应的标签         priPro[label] += 1                  # 更新先验概率                 for j in range(featureNum):         # 遍历所有特征             condPro[label][j][img[j]] += 1  # 更新条件概率     # 对条件概率进行平滑处理     for i in range(classNum):               # 遍历所有类别         for j in range(featureNum):         # 遍历所有特征             total = 0                       # 初始化特定特征的总计数             for k in range(valueZone):      # 遍历所有可能的特征值                 total += condPro[i][j][k]   # 累加特定类别和特征下的特征值计数             for k in range(valueZone):      # 再次遍历所有可能的特征值                 # 计算平滑后的条件概率                 pro_k = (float(condPro[i][j][k]) / float(total)) * 100000 + 1                 condPro[i][j][k] = pro_k    # 更新条件概率数组     return priPro, condPro                  # 返回先验概率和条件概率 # 计算特定图像和标签的概率 def cal_pro(img, label, priPro, condPro):     pro = int(priPro[label])                # 获取先验概率     print("len(img): ", len(img))     for i in range(len(img)):               # 遍历图像的每个特征         pro *= int(condPro[label][i][img[i]])  # 计算最终概率     return pro  # 返回概率 # 分类器准确率计算函数 def classfier_acc(imgs, priPro, condPro, classNum):     pred = []                               # 初始化预测结果列表     for img in imgs:                        # 遍历所有图像         predLabel = -1                      # 初始化预测标签         maxPro = -1                         # 初始化最大概率         for i in range(classNum):           # 遍历所有类别             pro = cal_pro(img, i, priPro, condPro)  # 计算概率             if maxPro < pro:                # 如果找到更大的概率                 maxPro = pro                # 更新最大概率                 predLabel = i               # 更新预测标签         pred.append(predLabel)              # 将预测标签加入结果列表     print("pred: ", pred)     return pred                             # 返回预测结果 # 单个图像分类函数 def classfier(img, priPro, condPro, classNum):     pred = []                               # 初始化预测结果列表     predLabel = -1                          # 初始化预测标签     maxPro = -1                             # 初始化最大概率     for i in range(classNum):               # 遍历所有类别         pro = cal_pro(img, i, priPro, condPro)  # 计算概率         if maxPro < pro:                    # 如果找到更大的概率             maxPro = pro                    # 更新最大概率             predLabel = i                   # 更新预测标签     pred.append(predLabel)                  # 将预测标签加入结果列表     print("pred: ", pred)     return pred                             # 返回预测结果 # 准确率计算函数 def accuracyRate(pred, labels):     count = 0                               # 初始化计数器     for i in range(len(pred)):              # 遍历所有预测结果         if pred[i] == int(labels[i][0]):    # 如果预测结果与实际标签相同             count += 1                      # 增加计数器     acRate = float(count) / float(len(pred))  # 计算准确率     return acRate                           # 返回准确率

（2）bayes_classify_movethings\main.py

import threading import cv2 from img_rec import img_rec from robotic_arm.my_serial import MySerial # 单片机功能选择 SINGLE_CHIP_FUNCTION_DATA = "3001070155a1ff" # 控制机械臂位置 CONTROL_ROBOTIC_ARM_POSITION_DATA = "3001070155a11131" # 控制机械臂抓取 CONTROL_ROBOTIC_ARM_GRAB_DATA = "3002070155a131" vs = cv2.VideoCapture(0) image_processing = img_rec.ImageProcessing() # 创建串口对象 my_serial = MySerial('/dev/ttyS4', baudrate=115200, timeout=1) # 创建串口接收远程 t_serial = threading.Thread(target=my_serial.receive_msg) t_serial.start() current_state = 0       # 当前状态 next_state = 0          # 下一个状态 is_grab = True          # 判断是否抓取（初始是false），进行搬运需要改为true source_location = 0     # 最终搬运的源位置 # my_serial.send_msg(SINGLE_CHIP_FUNCTION_DATA + "31") while True:     current_state = next_state     if current_state == 0:         my_serial.send_msg(CONTROL_ROBOTIC_ARM_POSITION_DATA)         print("控制机械臂移动。")         next_state = 1     elif current_state == 1:         if my_serial.recv_msg[12:16] == "2131":             print("机械臂已到达仓库1。")             next_state = 2             my_serial.recv_msg = ""     elif current_state == 2:         print("开始拍摄照片。")         for i in range(30):             ret, frame = vs.read()         cv2.imwrite("./pic.jpg", frame)         # cv2.imshow("frame", frame)         # cv2.waitKey(0)         print("拍摄照片完成，照片保存在当前目录下的pic.jpg，开始识别。")         image_thresh, cargo_location = image_processing.image_position(frame)         cargo_location_sort = image_processing.image_sort(cargo_location)         rec_result = image_processing.image_recognize(cargo_location, cargo_location_sort, frame)         print("识别结束，结果为{}".format(rec_result))         if is_grab and rec_result != {}:             # sorted 可以对所有可迭代的对象进行排序操作。             # sorted(iterable, key=None, reverse=False)             # iterable -- 可迭代对象。             # key -- 主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。             # reverse -- 排序规则，reverse = True 降序 ， reverse = False 升序（默认）。             # 返回值 -- 返回重新排序的列表。             list_sort = sorted(rec_result.items(), key=lambda kv: (kv[1], kv[0]), reverse=False)             print("排序结束，结果为{}".format(list_sort))             source_location = list_sort[0][0] + 1             next_state = 3         else:             break     elif current_state == 3:         my_serial.send_msg(CONTROL_ROBOTIC_ARM_GRAB_DATA + "1{}21".format(source_location))         next_state = 4     elif current_state == 4:         if my_serial.recv_msg[12:16] == "4131":             print("机械臂已搬运完毕。")             break         break     else:         break my_serial.THREAD_CONTROL = False

2. 描述整个执行过程

实验步骤操作内容

（1）应用实验箱机械手臂上的摄像头拍摄图像

    执行该操作时，程序会把摄像头拍摄的图像存入根目录下，并命名为pic.jpg图像。pic.jpg图像示例如下图所示：

（2）Opencv处理图像

    执行该操作时，程序会利用pic.jpg图像进行图像定位（将黄色色块从整个图像中取出）、图像排序（将数字图像的位置进行排序）。

（3）用贝叶斯方法识别处理后图像中的数字

执行该操作时，程序会利用pic.jpg图像进行图像识别（对各个位置处的数 字进行分类）。分类结果会在实验箱终端进行显示，如下图所示：

（4）驱动机械臂移动识别出的数字方块

执行该操作时，程序会将识别出的4个数字分类结果进行排序，并搬运其中的最值数字方块。机械臂移动过程如下图所示：

3. 测试不同数字块，得出本次实验中数字识别的准确率

（1）每个数字的测试

待测数字方块	1	2	3	4	5	6	7	8	9
程序识别结果	1	2	3	9	3	9	1	3	9

上表中，蓝色部分为识别准确的数字，橘色部分为识别错误的数字。

因此，本次实验中数字识别的大致准确率为：4 / 9 = 44.4%

（2）一组方块的测试

测试序号	4个方块的内容	预测的4个结果	预测准确率
1	4513	9313	50%
2	4913	9913	75%
3	6193	6193	100%
4	6513	5313	50%
5	7513	1313	50%
6	8513	3313	50%
7	9913	4913	75%

我们在实验的过程中均录制了视频，但是由于视频文件过大，无法全部发送到平台，因此此处只给出测试7的视频结果。

4. 分析准确率不高的原因，给出提高准确率的可能方法

准确率低的原因

（1）光线因素

我们在测试实验箱自带的识别应用软件中发现，在二值化图形的情况下，有些数字方块由于光线太强直接显示为白色，有些数字方块由于光线太弱直接显示为黑色。切换到RGB图形的情况时，发现光线也存在类似的情况，大致对应二值化图形情况下的内容。多次实验后，我们发现光线的强弱的确会影响识别的准确率。

（2）测试集因素

Bayes识别存在识别错误的情况可能由以下因素导致的：数字6和数字9存在中心对称的情况；数字4和数字9的拓扑结构类似，均包含一个封闭图案和半封闭图案；数字5和数字3的拓扑结构类似；数字7和数字1的拓扑结构类似；数字8的一半可以作为数字3。

（3）特征的独立性假设难以达到

    朴素贝叶斯分类器基于特征之间相互独立的假设。然而，在图像数据中，像素之间通常是高度相关的。例如，在数字图像中，相邻像素往往有相关性，这违背了朴素贝叶斯的独立性假设。

（4）训练集因素

首先，如果训练数据不足或缺乏多样性，例如数字样式的差异，模型可能无法泛化到新样本。其次，在训练数据中某些数字出现得更频繁，导致模型对这些数字的识别效果更好，即存在类别不平衡。

提高准确率的可能方法

（1）均匀打光，保证每个数字方块处于同一个光照强度下。

（2）增加更多样化的训练数据，或者使用数据增强技术（如旋转、缩放、平移图像）来增加样本的多样性。

（3）使用类别平衡技术，如过采样少数类或欠采样多数类，以确保每个类别都有相似的表示。

（4）优化平滑参数，通过交叉验证来找到更优的平滑系数。

（5）改进特征提取和预处理步骤。使用更复杂的图像处理技术，如直方图均衡化、边缘检测或降维技术（如PCA），有助于提取更有意义的特征。

五、附录

1：操作系统互相连接的实验步骤

2：实验箱可使用的应用

（1）打开桌面上的“综合测试”，体验仓库货物识别及搬运功能。

（2）打开桌面上的“图像识别”，体验动物、水果、蔬菜等类别的识别。

3：WIFI连接注意事项

WIFI连接FSAIarm（屏幕右上角）。如果已经显示连接上，但仍然转圈，则点击disconnect，再重新连接自己的热点。M3配置wifi的灯一直闪烁，直到配置成功（灯处于长亮）。