基于micropython和esp32cam的图像颜色识别小作品

前言

平台：thonny windows10 micropython esp32cam flask 0.96oled

芯片为ssd1306的0.96oled的micropython驱动：http://t.csdnimg.cn/T7Dn3

urequests py文件代码：http://t.csdnimg.cn/t4pbe

conwlan.py是自己封装的连接wifi库，见文中

总以分为前端和后端的代码编写

前端

注意，如果esp32cam初始化失败，需要重启；init和deinit必须配对使用才能保证下次运行程序时不出同样的错。

我觉得esp32cam的闪光灯太亮了，影响颜色判断，就选择不开启

总体逻辑是相关外设初始化，连接wifi，拍照，将数据发给服务器，打印服务器返回的数据

整体代码

from machine import Pin,SoftI2C
from conwlan import ConWLAN
import camera
import urequests as requests
import json
from oled import SSD1306

# 按需要选择是否使用oled和板载闪光灯
# i2c=SoftI2C(scl=Pin(15),sda=Pin(14))
# oled=SSD1306(i2c)
# led=Pin(4,Pin.OUT)

# camera初始化
try:
    camera.init(0,format=camera.JPEG)
except Exception as e:
    camera.deinit()
    camera.init(0,format=camera.JPEG)
    
# 连接wifi
ConWLAN('mate60','888888889')


try:
    # 开启闪光灯
    #led.on()
    # 拍照
    buf=camera.capture()
    # 关闭闪光灯
    #led.off()
    # 发送数据给服务器，url写自己的服务器地址
    response = requests.post(url="http://172.16.3.186:5000/hello",headers = {'content-type': 'image/jpeg'}, data = buf)
    color_name=response.json()['color']
    
    print(color_name)
    #oled.text(color_name,0,0)

except Exception as e:
    print(e)
finally:
    camera.deinit()

 conwlan.py

import network
class ConWLAN():
    def __init__(self,ssid,pasw):
        wlan=network.WLAN(network.STA_IF)
        wlan.active(True)
        if not wlan.isconnected():
            wlan.connect(ssid,pasw)
            while not wlan.isconnected():
                pass

后端

后端的主要逻辑：将接收的图像以时间为名保存 （方便后期的日志记录），调用判断颜色的函数，将结果返回给客户端

这里用opencv将图片转HSV再计算面积最大的颜色，然后返回颜色名。如果返回英文，可以直接使用oled.text()显示到oled中，如果返回中文，需要取模处理或使用带中文字库的固件（自行寻找）

当然也可以用神经网络进行颜色分类。

from flask import Flask, request, jsonify
import time 
import numpy as np
import cv2
import collections
app = Flask(__name__)

class colorList():
    # 图片路径
    def __init__(self,path):
        self.path=path
    
    # 设定你要检测的颜色列表
    def getColorList(self):
        dict = collections.defaultdict(list)
        # 黑色
        lower_black = np.array([0, 0, 0])
        upper_black = np.array([180, 255, 46])
        color_list = []
        color_list.append(lower_black)
        color_list.append(upper_black)
        dict['黑色'] = color_list
        
        # 白色
        lower_white = np.array([0, 0, 221])
        upper_white = np.array([180, 30, 255])
        color_list = []
        color_list.append(lower_white)
        color_list.append(upper_white)
        dict['白色'] = color_list
        
        # 红色
        lower_red = np.array([0, 43, 46])
        upper_red = np.array([10, 255, 255])
        color_list = []
        color_list.append(lower_red)
        color_list.append(upper_red)
        dict['红色'] = color_list
        
        # 黄色
        lower_yellow = np.array([26, 43, 46])
        upper_yellow = np.array([34, 255, 255])
        color_list = []
        color_list.append(lower_yellow)
        color_list.append(upper_yellow)
        dict['黄色'] = color_list
        # 绿色
        lower_green = np.array([35, 43, 46])
        upper_green = np.array([77, 255, 255])
        color_list = []
        color_list.append(lower_green)
        color_list.append(upper_green)
        dict['绿色'] = color_list
 
        # 蓝色
        lower_blue = np.array([100, 43, 46])
        upper_blue = np.array([124, 255, 255])
        color_list = []
        color_list.append(lower_blue)
        color_list.append(upper_blue)
        dict['蓝色'] = color_list
 
        # 紫色
        lower_purple = np.array([125, 43, 46])
        upper_purple = np.array([155, 255, 255])
        color_list = []
        color_list.append(lower_purple)
        color_list.append(upper_purple)
        dict['紫色'] = color_list
 
        return dict
 
    # 处理图片
    def get_color(self):
        img = cv2.imread(self.path)
        hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
        maxsum = -100
        color = None
        color_dict = colorList(self.path).getColorList()
        for d in color_dict:
            mask = cv2.inRange(hsv, color_dict[d][0], color_dict[d][1])
            binary = cv2.threshold(mask, 127, 255, cv2.THRESH_BINARY)[1]
            binary = cv2.dilate(binary, None, iterations=2)
            img, cnts = cv2.findContours(binary.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            sum = 0
            for c in img:
                sum += cv2.contourArea(c)
            if sum > maxsum:
                maxsum = sum
                color = d
        return color

@app.route("/hello", methods=["POST"])
def process_image():
    imageData = request.get_data(parse_form_data=False)
    
    # 保存图片
    filename = time.strftime("%m%d%H%M%S", time.localtime()) + ".jpg"
    path = "./test_imgs/" + str(filename)
    with open(path,'wb') as f:
        f.write(imageData)
        
    # 颜色识别
    color_name=colorList(path).get_color()
    
    # 返回结果
    return jsonify({'color': color_name})

if __name__ == "__main__":
    app.run(host='0.0.0.0',debug=True)