哎呀妈,咔咔的,今天分享的这个案例挺有趣,增强现实+机器学习在Web端实现AR数独应用,代码开源,文末下载~
该项目利用了OpenCV,Tensorflow和用Rust编写的AR数独求解器。它巧妙地演示了WebAssembly如何允许你使用多种语言编写对性能至关重要的基于Web的应用程序。
整体流程如下:
简单来说,每个视频帧的处理步骤如下:
-
采用自适应阈值法定位边缘,得到黑白图像
-
边缘近似为轮廓;数独网格应该是最大的四边轮廓
-
为了将网格渲染成正方形图像,应用了(反向)透视变换
-
网格线被删除
-
卷积神经网络用于识别9x9网格中的数字
-
填充网格通过一个基于rust的模块来解决
-
从(3)步骤的透视变换应用于将解决方案投影回图像上
-
解决方案被合并回原始图像