数据是人工智能的基石。如果能在更短时间内将数据变为洞察,对于人工智能的开发而言无疑事半功倍。
在数据基础设施建设方面,英特尔早有布局。开源开发平台 BigDL 台简化了 Spark 生产环境中的端到端分布式大数据和人工智能管线,利用 Apache Spark 帮助用户无缝扩展、数据预处理和 Tensorflow 或 PyTorch 建模,缩短了构建解决方案的时间,并为推荐系统、时序分析、隐私、保护机器学习等对象提供面向行业特定应用的数据管线。
BigDL 目前已被 Mastercard、Burger King、SK Telecom 等厂商应用于生产环境中,其应用规模还在不断增大。
在数据预处理方面,英特热对相关工具进行了优化。开源库 Modin 能够使 Pandas 应用程序加速多达 20 倍,通过 Jupyter Notebook 几乎可以实现从 PC 到云的无限扩展;对于热门的 Python 数学库 NumPy 和 SciPy,英特尔也做了针对性优化,使用 oneMKL 等 oneAPI 核心构建基块将线性代数、快速傅里叶变换随机数生成器及 elementwise 函数的速度提升达 100 倍。