Spark+PyTorch

Apache Spark+PyTorch 案例实战
随着数据量和复杂性的不断增长，深度学习是提供大数据预测分析解决方案的理想方法，需要增加计算处理能力和更先进的图形处理器。通过深度学习，能够利用非结构化数据（例如图像、文本和语音），应用到图像识别、自动翻译、自然语言处理等领域。图像分类：识别和分类图像，便于排序和更准确的搜索。目标检测：快速的目标检测使自动驾驶汽车和人脸识别成为现实。自然语言处理：准确理解口语，为语音到文本和智能家居提供动力。
深度学习面临的挑战：虽然大数据和人工智能提供了大量的潜力，但从大数据中提取可操作的洞察力并不是一项普通的任务。隐藏在非结构化数据（图像、声音、文本等）中的大量快速增长的信息，需要先进技术的发展和跨学科团队（数据工程、数据科学和业务）的密切合作。
基于Databricks云平台能够轻松构建、训练和部署深度学习应用程序。

• Databricks云平台集群提供一个交互式环境，可以轻松地使用深度学习的框架，如Tensorflow、Keras、Pytorch、Mxnet、Caffe、Cntk和Theano。
• Databricks提供处理数据准备、模型训练和大规模预测的云集群平台。
• Spark分布式计算进行性能优化，可以在强大的GPU硬件上大规模运行。
• 交互式数据科学。Databricks云平台支持多种编程语言，支持实时数据集的深度学习模型训练。