【雕爷学编程】MicroPython动手做（41）——机器视觉之感光元件配置

MixPY——让爱(AI)触手可及

MixPY布局

主控芯片：K210（64位双核带硬件FPU和卷积加速器的 RISC-V CPU）
显示屏：LCD_2.8寸 320*240分辨率，支持电阻触摸
摄像头：OV2640，200W像素
扬声器：3W单声道喇叭，及2.5mm双声道耳机孔
麦克风：一颗数字高灵敏MEMS硅麦
存储介质：16MBFlash，可外接<32G calss10 TF内存卡
板载功能：RGB三色灯，自定义2颗按键，重力感应
电池管理：PMU电源管理，3重电池保护电路及550mah锂电池
无线网卡：ESP8285,WiFi无线网卡
下载驱动：CH340，USB转TTL串口驱动电路
外接拓展：3个 Type-C扩展接口,可外接18IO口及双电源输出

1、简介
使用MixPY与MixNO开发板硬件以及MixPY软件平台，发挥AI人工智能 K210芯片的算力优势，引入机器视觉概念，从简单的图像基础开始，通过一些MicroPython实际图像处理的小案例，着手学习在LCD屏幕上绘制直线、矩形、圆形和文字等。

2、知识点
（1）机器视觉（Machine vision）
是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

（2）机器视觉技术
是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、功能多。机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更重要的是具有人脑的一部分功能一一从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。

将机器视觉技术应用于禽蛋品质检测具有人工检测所无法比拟的优势。表面缺陷与大小、形状是蛋品品质的重要特征，利用机器视觉进行检测不仅可以排除人的主观因素的干扰，而且还能够对这些指标进行定量描述,避免了因人而异的检测结果，减小了检测分级误差，提高了生产率和分级精度。一个典型的工业机器视觉应用系统，包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。

机器视觉不同于计算机视觉，它涉及图像处理、人工智能和模式识别。机器视觉是专注于集合机械，光学，电子，软件系统，检查自然物体和材料，人工缺陷和生产制造过程的工程，它是为了检测缺陷和提高质量，操作效率，并保障产品和过程安全。它也用于控制机器。机器视觉是将计算机视觉应用于工业自动化。

配套 OV2640摄像头：200W像素通用24P摄像头
具有200万像素（1632x1232像素），其体积小、工作电压低，提供单片UXGA摄像和影像处理器的所有功能。通过SCCB总线控制，可以输出整帧、子采样、取窗口等方式的各种分辨率10位采样数据。该产品UXGA图像最高达到15帧/秒。用户可以完全控制图像质量、数据格式和传输方式。所有图像处理功能过程包括伽玛曲线、白平衡、饱和度、色度等都可以通过SCCB接口编程。OmmiVision图像传感器应用独有的传感器技术，通过减少或消除光学或电子缺陷如固定图案噪声、托尾、浮散等，提高图像质量，得到清晰的稳定的彩色图像。

OV2640主要参数
可以支持定制FPC长度，镜头角度（70-160度）可以支持定制FPC长度，镜头角度（70-160度）
感光阵列1632x1232 最大格式UXGA
IO电压1.7V-3.3V 模拟电压2.5-3.0v(内部LDO给核供电1.2V)
功耗工作TBD 休眠<20μA
温度操作-30℃到70℃
稳定工作0℃到50℃
输出格式（8位）YUV/YCbCr4:2:2 RGB565/555/444 GRB4:2:2 Raw RGB Data
光学尺寸1/4"
视场角70度
最大贞率15fps SXGA
灵敏度1.3V/(Lux-sec)
信噪比40 dB
动态范围50 dB
浏览模式逐行
电子曝光1行到1247行
像素面积2.2μm x 2.2μm
暗电流15mV/s at 60℃
工作电流40mA

OV2640内部方块图

摄像头电原理图

1、测试配套的OV2640摄像头

#MicroPython动手做（41）——机器视觉之感光元件配置
#测试配套的OV2640摄像头

import sensor
import mixno
import lcd


lcd.init(freq=15000000,color=0)
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.run(1)
sensor.skip_frames(10)
lcd.display(sensor.snapshot())

实验场景效果图

MixPY 实验图形编程

2、sensor_感光元件函数

sensor用于摄像头配置及图像抓取等

（1）初始化摄像头

sensor.reset()

初始化摄像头，会自动扫描并获取摄像头地址及型号

参数：
无

返回：
None

（2）设置帧格式

sensor.set_pixformat(format)

设置摄像头输出格式

参数：
format: 输出帧格式
[sensor.GRAYSCALE]: 8-bits per pixel 灰度图格式（每像素为8位、1字节）
[sensor.RGB565]: 16-bits per pixel 彩色图格式（每像素为16位、2字节。5位红色，6位绿色，5位蓝色）

返回：
True: 设置成功
False: 设置错误

（3）设置帧大小

sensor.set_framesize(framesize)

设置摄像头输出帧大小

参数：
framesize: 帧大小
sensor.QQQQVGA: 40x30
sensor.QQQVGA: 80x60
sensor.QQVGA: 160x120
sensor.QVGA: 320x240（LCD屏为320*240分辨率，推荐设置为QVGA格式）
sensor.VGA: 640x480

返回：
True: 设置成功
False: 设置错误

（4）启动函数

sensor.run(enable)

启动/停止芯片捕获图像（可以不使用）

参数：
enable: 1表示开启，0 表示停止

返回：
True: 即返回1

（5）设置跳帧

sensor.skip_frames([n,time])

跳过指定帧数或者跳过指定时间内的图像

参数：
n: 跳过 n 帧图像
time: 跳过指定时间，单位为ms

返回：
None

使用此函数为让相机图像在改变相机设置后稳定下来，应在改变相机设置后调用该函数
使用n个快照，n作为普通参数传输， 例如：skip_frames(10)跳过10帧
或使用参数time来跳过几毫秒的帧数，例如：kip_frames(time = 2000)，跳过2000毫秒的帧。
若n和time 皆未指定，该方法跳过300毫秒的帧。
若二者皆指定，该方法会跳过n数量的帧，但将在time毫秒后超时。