硬件平台:K210 Sipeed Maix Dock
软件平台:maixpy
实现功能:自学习分类,无需在pc上训练分类,在K210上就可以
实现步骤
一、下载固件
其中,各文件说明如下:
一般就下载第一个 maixpy_*.bin文件,功能比较全,但文件比较大,看单片机Flash使用情况而定。
得到bin文件后 直接打开kflash 烧录进板子里 注意地址为:0X00000
二、下载模型
打开 maixhub 找到模型文件,输入机器码下载。(如何获取机器码 参考往期的博客。)
(最好每次都通过 keygen.bin的固件通过串口发一次机器码,因为 今天用手动输入的机器码 会导致模型运行的时候无法解密出现报错“[MAIXPY]kpu: load error:2002, ERR_KMODEL_VERSION: only support kmodel V3/V4 now”)
这里有两个模型, 其中较大的模型有 1.8MiB, lite 版本只有 800KiB, lite 版本在使用时初始化代码需要添加fea_len
参数为512, 较大模型不需要设置这个参数:
classifier = kpu.classifier(model, class_num, sample_num, fea_len=512)
- 注意模型烧录地址, 和加载地址,不要弄错了,比如代码
model = kpu.load(0x300000)
则需要使用 kflash_gui 烧录模型到0x300000
处 - 注意上面说的 lite 模型需要设置
fea_len
参数 - MaixPy 固件版本应该至少大于 maixpy_v0.6.2_46_geafab8cfd (提交 eafab8cfdfe0aa233586b17d8bc72a266d1b2b61)
三、脚本
包含示例脚本和加载脚本
①示例脚本 self_learning_classifier.py
需要自行修改 board_info 。方法:在官网资料中找到对应板子的 config_*.py文件,进入IDE中运行,即可以完成对板子的配置项(config.json)的导入,它会在flash上存储该配置文件。
运行配置代码后会自动重启,此时代码中才可以调用 board_info.BOOT_KEY , 实际上 board_info.BOOT_KEY 就是指 IO 16 ,对应的定义在 config.json 中可以得知,如果不存在的资源将会报错,如没有 LED 定义的硬件,运行 LED 点亮的时候就会报错“[Warning] Not loaded from /flash/config.json to board_info”。
下面是示例脚本代码
在IDE运行示例脚本后,按开发板上的 boot 按钮 来捕获 3 个类别 如:手机, 小车, 键盘, 每个类别只需要捕获一次
然后捕获 15 张图, 对顺序没有要求, 比如捕获 5 张 手机, 5 张 小车 , 5 张 键盘 的图片
然后它会自动学习这 15 张图的特征
最后识别到的图像类别会展示在左上角
import KPU as kpu
import sensor
import lcd
from Maix import GPIO,utils
from fpioa_manager import fm
#from board import board_info
import time
import gc
############### config #################
class_num = 3
sample_num = 15
THRESHOLD = 11
class_names = ['class1', 'class2', 'class3']
board_cube = 0
########################################
def draw_string(img, x, y, text, color, scale, bg=None ):
if bg:
img.draw_rectangle(x-2,y-2, len(text)*8*scale+4 , 16*scale, fill=True, color=bg)
img = img.draw_string(x, y, text, color=color,scale=scale)
return img
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_windowing((224, 224))
if board_cube == 1:
sensor.set_vflip(True)
sensor.set_hmirror(True)
lcd.init(type=2)
lcd.rotation(2)
else:
lcd.init()
fm.register(16, fm.fpioa.GPIOHS0)
key = GPIO(GPIO.GPIOHS0, GPIO.PULL_UP)
try:
del model
except Exception:
pass
try:
del classifier
except Exception:
pass
gc.collect()
utils.gc_heap_size(0x40000)
kpu.memtest() #由于使用的是完整固件,加载smodel会 memory not enough,所以利用utils从gc分配些内存给sys.
model = kpu.load(0x300000)
classifier = kpu.classifier(model, class_num, sample_num)
cap_num = 0
train_status = 0
last_cap_time = 0
last_btn_status = 1
while 1:
img = sensor.snapshot()
if board_cube:
img = img.rotation_corr(z_rotation=90)
img.pix_to_ai()
# capture img
if train_status == 0:
if key.value() == 0:
time.sleep_ms(30)
if key.value() == 0 and (last_btn_status == 1) and (time.ticks_ms() - last_cap_time > 500):
last_btn_status = 0
last_cap_time = time.ticks_ms()
if cap_num < class_num:
index = classifier.add_class_img(img)
cap_num += 1
print("add class img:", index)
elif cap_num < class_num + sample_num:
index = classifier.add_sample_img(img)
cap_num += 1
print("add sample img:", index)
else:
img = draw_string(img, 2, 200, "release boot key please", color=lcd.WHITE,scale=1, bg=lcd.RED)
else:
time.sleep_ms(30)
if key.value() == 1 and (last_btn_status == 0):
last_btn_status = 1
if cap_num < class_num:
img = draw_string(img, 0, 200, "press boot key to cap "+class_names[cap_num], color=lcd.WHITE,scale=1, bg=lcd.RED)
elif cap_num < class_num + sample_num:
img = draw_string(img, 0, 200, "boot key to cap sample{}".format(cap_num-class_num), color=lcd.WHITE,scale=1, bg=lcd.RED)
# train and predict
if train_status == 0:
if cap_num >= class_num + sample_num:
print("start train")
img = draw_string(img, 30, 100, "training...", color=lcd.WHITE,scale=2, bg=lcd.RED)
lcd.display(img)
classifier.train()
print("train end")
train_status = 1
else:
res_index = -1
try:
res_index, min_dist = classifier.predict(img)
print("{:.2f}".format(min_dist))
except Exception as e:
print("predict err:", e)
if res_index >= 0 and min_dist < THRESHOLD :
print("predict result:", class_names[res_index])
img = draw_string(img, 2, 2, class_names[res_index], color=lcd.WHITE,scale=2, bg=lcd.RED)
else:
print("unknown, maybe:", class_names[res_index])
img = draw_string(img, 2, 2, 'maybe {}'.format(class_names[res_index]), color=lcd.WHITE,scale=2, bg=lcd.RED)
lcd.display(img)
classifier.save("3_classes.classifier") #保存训练集到flash里
#classifier.save("3_classes.classifier")放置到 lcd.display(img)下面以保存特征值。
# You can save trained data to file system by:
#classifier.save("3_classes.classifier")
# Then load :
# model = kpu.load(0x300000)
# classifier = kpu.classifier.load(model, "3_class.classifier")
② 加载脚本 self_learning_classifier_load.py
运行加载脚本 不需要再次 按BOOT按键进行拍照学习,
此脚本直接提取 示例脚本 保存到 flash里面的3_classes.classifier数据集,进行目标分类。
下面是加载脚本代码
修改class_name以匹配检测物体(训练模型时,使用的是class来命名)class_names = ['people', 'xiaoai', 'tf']
import KPU as kpu
import sensor
import lcd
import gc
############### config #################
saved_path = "3_classes.classifier"
#如果你使用sd卡:saved_path = "/sd/3_classes.classifier"
THRESHOLD = 11
class_names = ['class1', 'class2', 'class3']
########################################
def draw_string(img, x, y, text, color, scale, bg=None ):
if bg:
img.draw_rectangle(x-2,y-2, len(text)*8*scale+4 , 16*scale, fill=True, color=bg)
img = img.draw_string(x, y, text, color=color,scale=scale)
return img
lcd.init()
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_windowing((224, 224))
try:
del model
except Exception:
pass
try:
del classifier
except Exception:
pass
gc.collect()
model = kpu.load(0x300000)
classifier, class_num, sample_num = kpu.classifier.load(model, saved_path)
while 1:
img = sensor.snapshot()
res_index = -1
try:
res_index, min_dist = classifier.predict(img)
print("{:.2f}".format(min_dist))
except Exception as e:
print("predict err:", e)
if res_index >= 0 and min_dist < THRESHOLD :
print("predict result:", class_names[res_index])
img = draw_string(img, 2, 2, class_names[res_index], color=lcd.WHITE,scale=2, bg=lcd.RED)
else:
print("unknown, maybe:", class_names[res_index])
img = draw_string(img, 2, 2, 'maybe {}'.format(class_names[res_index]), color=lcd.WHITE,scale=2, bg=lcd.RED)
lcd.display(img)
四、效果
五、拓展
示例脚本只捕捉了3个物体,我们可以修改class_num等来提高物体数量
class_num = 5 #5个物体
sample_num = 25 #25张训练集
class_names = ['class1', 'class2', 'class3','class4','class5']#物体标签
在加载脚本处也修改
class_names = ['people', 'xiaoai', 'tf', 'box','mouse']