基于AI的计算机视觉识别在Java项目中的使用 (一) —— 背景

最近公司做一款软件产品，我在其中承担机器视觉识别服务的研发工作。

自己一直从事企业应用和互联网应用项目的开发和管理工作。对于机器视觉这种强调算法的任务，自己平时工作中接触不多。原本这个产品是打算直接采购第三方服务的。对于第三方服务，我也做了一些调研，发现市场上的产品，无论价格还是功能都无法很好地契合我们的产品需求。开源的产品也找了，符合需求的没有，接近需求的开源项目极少。

自己前两年一直在用业余时间做人工智能、深度学习方面的学习和尝试，其中也涉及到机器视觉部分的内容。加上我对于如何实现相关功能有些思路，和Boss商量之后决定下注去做。

这个服务是整个产品的关键环节，如果我这边难产了，前期公司其他同事投入到产品中的时间精力也都打了水漂。所以自己接手这项任务还是承受了一些压力。

这段时间我还在另外一个项目帮忙，时忙时闲的，这之外的时间才用来做识别服务研发。在公司可用时间不算多，很多工作我是用业余时间来完成的，很多算法是在散步中想到的，甚至有时候是带着问题入睡，带着答案起床。绝对不是要彰显自己有多敬业努力、喜欢加班！我不喜欢加班，公司也没有加班文化，只是自己对这项挑战非常有兴趣而已。

目前为止，这部分功能的主体研发已基本完成，正在配合产品其他部分功能做测试。部分细节还会根据实际测试结果多一些打磨。

这项工作从技术可行性预研、技术选型、基础算法设计、实现、深度学习模型搭建、训练数据的准备清洗、模型训练和调优以及服务端的部署都是我独自做的，在此过程中也是小有收获。

前段时间在公司，我和同事们通过TechTalk分享了主要设计思路。现在我想继续通过文字来分享其中涉及的技术栈和细节，同时也作为自己近段时间工作的回顾总结。

后续，我打算分如下几期从不同方面来介绍：

二、《基于AI的计算机视觉识别在Java项目中的使用 —— OpenCV的使用》

三、《基于AI的计算机视觉识别在Java项目中的使用 —— 搭建基于Docker的深度学习训练环境》

四、《基于AI的计算机视觉识别在Java项目中的使用 —— 准备深度学习训练数据》

五、《基于AI的计算机视觉识别在Java项目中的使用 —— 深度模型的训练调优》

六、《基于AI的计算机视觉识别在Java项目中的使用 —— 深度模型在Java环境中的部署》

去年底本打算业余时间做一个基于AI的自由行助手，已经完成了分布式爬虫部分的开发。那中间也有一些可以总结的内容，比如多线程和分布式任务的相互协调，使用Redis做爬虫集群的缓存，如何应对网站的反爬虫机制等。后来也花了一点时间继续在研究如何用BERT语言模型对抓取的网页数据做解析和关键字提取。这些原有计划因为这项临时任务而打断，后面也希望能继续。