《机器学习系统：设计和实现》系列-1

深度学习框架产生的原因

在设计机器学习系统之初，开发者曾尝试拓展神经网络开发库（如Theano和Caffe）和大数据计算框架（如Apache Spark和Google Pregel）来达到以上目标。可是他们发现（如 表2.2.1所示）， 神经网络库虽然提供了神经网络开发、自动微分和硬件加速器的支持，但是其缺乏管理和处理大型数据集、模型部署和分布式执行的能力，无法满足产品级机器学习应用的开发任务。 另一方面，虽然大数据计算框架具有成熟的分布式执行和数据管理能力，但是其缺乏对神经网络、自动微分和加速器的支持，使得其并不适合开发以神经网络为核心的机器学习应用。因此，业界设计出了包括MindSpore、PaddlePaddle、TensorFlow，PyTorch等一系列新型机器学习系统（框架）。

引入偏置项的原因