农业对你今天的生活有什么影响?如果你住在城市里,你可能会觉得你与生产食物的农场和田地没有多大联系,但是农业却是我们生活的一个核心部分,而我们却常常不认为是这样的。
今天的农民面临着一个巨大的挑战,即用更少的土地来养活日益增长的全球人口。预计到2050年,世界人口将增长到近100亿,这使得全球粮食需求增加50%。
随着粮食需求的增长,土地、水和其他资源将面临更大的压力。农业中固有的可变性,如气候条件的变化,以及杂草和害虫等威胁,也会对农民生产粮食的能力产生影响。在使用更少资源的同时生产出更多粮食的唯一方法是通过智能机器,该机器可以帮助工作困难的农民,提供更高的一致性,准确性和效率。
农业机器人
在蓝河科技,我们正在制造下一代智能机器。农民使用我们的工具来控制杂草和降低成本,以促进农业的可持续发展。
我们的除草机器人集成了摄像头、计算机视觉、机器学习和机器人技术,还具备了一款智能喷雾器,可以在田间行驶(使用AutoTrac将驾驶员的负载降至最低),并快速锁定目标并喷洒杂草,而使作物完好无损。
AutoTrac:https://www.deere.com/en/technology-products/precision-ag-technology/guidance/auto-trac/
这台机器需要实时决定什么是庄稼,什么是杂草。当机器在野外行驶时,高分辨率相机以高帧速率采集图像。
我们开发了一个卷积神经网络(CNN模型),使用Pytorch分析每一帧,并生成一张像素精确的农作物和杂草所在的地图。一旦所有的植物都被识别出来,则每个杂草和作物都被映射到田间位置,机器人只喷洒杂草。
整个过程在几毫秒内完成,因为效率很高,农民就可以覆盖尽可能多的土地。
以下这是一个很棒的See&Spray视频,详细介绍了该过程。
https://youtu.be/XH-EFtTa6IU
为了支持机器学习(ML)和机器人技术,我们基于NVIDIA Jetson AGX Xavier Edge AI平台构建了一个令人印象深刻的计算单元。
由于我们所有的推断都是实时进行的,上传到云端需要的时间太长,所以我们将服务器带到了作业现场。
专门用于视觉推理和喷雾的机器人总计算能力与IBM的超级计算机Blue Gene(2007)相当,这使它成为全球移动机械中具有最高计算能力的机器!
杂草检测模型的建立
我的研究人员和工程师团队负责训练识别作物和杂草的神经网络模型,这是一个具有挑战性的问题,因为许多杂草看起来就像庄稼。专业的农学家和杂草科学家进行我们的标签工作,让我们的工作人员可以正确地标记图像——你能发现下面哪些是杂草吗?
在下图中,棉花植物为绿色,杂草为红色。
机器学习栈
在机器学习方面,我们有一个复杂的堆栈。我们用Pytorch训练我们所有的模型。我们在Pytorch上建立了一组内部库,允许我们进行可重复的机器学习实验。我的团队职责分为三类:
建立生产模型以部署到机器人上
以不断提高模型性能为目标,进行机器学习实验和研究
与机器学习、A/B测试、流程改进、软件工程相关的数据分析/数据科学
我们选择Pytorch是因为它非常灵活且易于调试,新的团队成员可以很快跟上进度,而且文档非常详尽。
在使用PyTorch之前,我们的团队广泛使用Caffe和Tensorflow。2019年,我们决定改用Pytorch,过渡很顺利,这个改变同时也为工作流的研究提供了支持。
例如,我们使用To