【IT168 评论】数据库性能优化、云时代的数据库、NoSQL技术进展、大数据云服务、数据分析与挖掘、机器学习……有别于“短暂”的技术分享会,由盛拓传媒、IT168主办的2017年中国数据库技术大会(DTCC 2017)在会议的第二天依然干货满满。
随着人机大战逐渐渗透到我们的生活中,人工智能已经成为脍炙人口的话题。深度学习作为人工智能领域最广泛的应用,数以万计的数据从业者都通过讲义、视频等进行学习和应用。今天的数据分析与挖掘专场华为人工智能技术专家金鑫就为我们带来了《分布式数据分析与人工智能平台及算法实践》的演讲。
深度学习的发展历程
深度学习的发展可以追溯到1950,当时“计算机科学之父”及“人工智能之父”英国数学家阿兰·图灵发布了著名论文《机器会思考吗?》,这篇论文被广泛认定为深度学习的起源。金鑫认为从深度学习从起源发展到现在的半个多世纪大致可以分为三个阶段:第一个阶段是1950-1980+,小数据+复杂算法,第二个阶段是1990-2000+,大数据+简单算法,第三个阶段2010到现在,大数据+复杂算法。
在中小数据时代,传统的机器学习研究并不把海量数据作为处理对象,很多算法是为处理中小规模数据设计的,直接把这些算法用于海量数据,效果可能很差,甚至可能用不起来。而到了大数据时代,新的数据种类不断涌现,对大数据集、高维数据的学习,算法关注点转移到分布式可扩展、有效利用非标记数据解决训练数据质量问题(半监督学习)、提高学习结果泛化能力(集成学习)、不同领域进行知识迁移(迁移学习)、特征自动学习(深度学习)等。
深度学习平台发展演进到至今,大致表现出了以下几种趋势:从单机到多机,计算能力提升;平台化,可视化,易用性提升;开源+闭研结合,依赖生态圈,构建关键竞争力。
分布式数据分析与人工智能平台
MIND是华为的一个人工智能平台项目,据金鑫介绍:该平台收集了案例库、问题单、产品资料、FAQ等海量数据,整合深度学习、增强学习和专家知识,通过大数据分析与挖掘平台为用户提供深度洞察、最佳体验、智能运维以及最优调度。
面向ICT领域构建高效分布式大数据分析与人工智能平台,能够支撑电信、IT、金融、大视频等场景。分布式大数据分析与人工智能平台系统架构主要有5层: 运行环境/操作系统/硬件平台、数据处理层、分布处理平台、算法框架以及智能服务。
金鑫认为现在机器学习的算法已成熟,随平台硬件演进持续并行加速,而深度学习算法理论待突破,训练和预测性能待进一步提升,图计算、逻辑推理、启发式算法待分布式并行加速支撑大规模数据。构建端云协同并行AI算法库和高性能数学库,向下和硬件结合提升底层基础数学库并行性能、降低功耗;向上和智能应用结合提升复杂场景AI算法性能、自适应能力。
▲分布式数据分析与人工智能平台应用
▲分布式数据分析与人工智能平台应用