Hadoop 2.0 上深度学习的解决方案

最新推荐文章于 2022-06-22 22:31:26 发布

669生活

最新推荐文章于 2022-06-22 22:31:26 发布

阅读量624

点赞数

分类专栏：大数据编程语言人工智能文章标签：大数据人工智能编程语言程序员

本文链接：https://blog.csdn.net/Spark168/article/details/90239339

版权

本文介绍了如何在Hadoop 2.0集群上实现和部署深度学习，特别是深度信任网络（DBN）。通过分布式训练和受监督的调整，算法在MNIST手写数字识别数据集上达到了1.66%的错误率，接近原始算法的性能。Hadoop YARN的资源管理使得在大规模数据集上运行机器学习算法成为可能。

摘要由CSDN通过智能技术生成

波士顿的数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据中识别和利用模式。从互联网大规模数据中获取透析是一项具有挑战性的任务，因此，能大规模运行算法是一个至关重要的需求。伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。