机器学习环境

机器学习平台平台依托于大数据底层先进的基础架构设施，有效地将大数据平台中的计算、存储、调度等系统协同起来。它可以为用户提供数据标注、数据清洗、数据建模、模型上线等一站式服务。依托这个平台，用户可以轻松 地在 PB 级数据上快速进行算法的研究和落地。到目前为止，京东大数据的机器学习平台广泛应用于供应链、用户画像、无界零 售等领域。
京东的机器学习平台由基础架构层、工具层、任务调度层、算法层以及 API 层组成
基础架构层
机器学习平台拥有调度大规模异构计算资源的能力。
为了满足不同的机器学习算法的计算需求，基础架构层能同时支持 CPU、GPU、高速存储设备、高速网络设备等不同硬件资源调度。借助虚拟化技术，机器学习平台可以将同一个硬件设备在不同的任务中进行资源共享，有效地提高了硬件资源的利用率。
高性能资源调度器能帮助不同的数据建模工具快速找到合适的计算资源，并且部署分发计算任务，管理任务状态，按照约定的协议对分布式的任务进行错误恢复。
工具层
工具层给用户提供了机器学习算法研发的一站式服务。用户可以通过离线和实时数据处理平台进行海量数据的处理和分析，从数据中找到业务的价值。 我们围绕着统计学习和深度学习等领域，结合基础架构，对这些建模工具进行了大量的改进和优化,提升其算法的训练速度和训练数据集的规模。与此同时，机器学习平台还提供了超参数优化等功能。依靠这些功 能，用户可以快速在海量数据上构建上千亿维度的模型。
为了进一步降低模型的落地门槛，机器学习平台还提 供了统一的 serving 平台。用户可以在不需要做任何系统开发的 情况下，将算法模型变成稳定高效的服务接口。serving 平台除了 根据算法模型的特点进行了大量的硬件层面和软件层面的性能优化之外，还给用户提供了统一监控报警、负载均衡、模型版本管理、多版本 A/B 测试等功能。用户还可以借助跨平台 SDK 对 模型进行压缩和裁剪，以便应用于移动端及 IOT 设备之上。
任务调度层
随着近几年人工智能技术的快速发展，算法模型精度提升的同时，模型的复杂性也在不断地增加，用户往往不能只依赖单一工具或单一任务来达到目标。为了解决这一痛点，机器学 习平台利用任务调度系统将不同的工具连接到一起，帮助用户完 成复杂的 DAG 任务和定时任务，降低用户的使用难度。
算法层
机器学习平台内置了上百个经过优化的算法模块。这些算法模块覆盖了视觉、语音、自然语言、统计分析、图运算、特征处理等领域。每一个模块都采用了统一的数据接口，同时提 供了灵活的参数供用户进行调整。用户可以通过命令行或者 UI 交互将不同的算法模块链接到一起来完成一个复杂的机器学习 任务。
API 层
京东的机器学习平台还为用户提供了丰富的人工智能 API
服务，如人脸识别、文字识别、评论分析等。用户甚至不需要进 行任何模型开发就可以直接使用。