神经结构搜索中的遗传算法

最新推荐文章于 2023-08-09 15:30:45 发布

Linux基金会AI&Data基金会

最新推荐文章于 2023-08-09 15:30:45 发布

阅读量337

点赞数

文章标签：算法人工智能深度学习机器学习计算机视觉

本文链接：https://blog.csdn.net/LF_AI/article/details/118561924

版权

本文介绍了神经结构搜索（NAS）的概念，包括搜索空间、搜索策略和性能评估。重点探讨了基于遗传算法的NAS，它作为一种全局优化算法，具有稳定性高、保证网络结构多样性的特点。遗传算法在NAS中的流程包括初始化、适应度评估、选择、变异和交叉等操作，是解决NAS效率问题的有效方法。文中还提到了遗传算法在实际应用中面临的挑战和未来的发展趋势。

摘要由CSDN通过智能技术生成

深度学习在很多领域都取得了巨大的成功，比如图像分类、目标检测、自然语言处理等。自从2012年AlexNet在ImageNet比赛中超越了所有传统的机器学习方法夺得了冠军，CNN在图像分类中就占据了统治地位，随后越来越多的深度神经网络被提出，比如VGG、GoogLeNet等。直到2015，何凯明提出ResNet网络，超过了人类的识别精度（人类top-5错误率大约为5.1% ），将top-5错误率降到了3.57% 。2017年DenseNet 在精度上有了进一步的提升。不管是AlexNet还是DenseNet，都是有着丰富神经网络和图像处理知识的专家们针对特定的数据集，在反反复复的试错中设计出的网络结构。随着数据集的改变，有时网络结构还需要作出相应的修改。这需要大量的时间、精力和丰富的计算资源的和专业知识，不是任何一个普通的用户能够满足并做到的。为了解决这个问题，AutoML浮出了水面。AutoML能够将自动化和机器学习结合在一起，通过网络结构搜索（NAS）得到最优的网络结构，然后通过基于梯度下降的训练过程，学习得到网络最优的权重。NAS简化了神经网络的设计过程，降低了使用门槛，由此得到的网络，有的可以媲美人类专家，甚至得到一些新型的网络结构。