python 分布式存储_分布式文件系统的必要性,Python在分布式文件系统中的支持情况...

当你用大量高质量训练数据训练深度学习模型时，可能会刷新多个领域的模型最佳预测表现(例如图像分类、语音识别和机器翻译)。作为训练数据、日志、模型服务、检查点的存储中心，分布式文件系统正变得越来越重要。HopsFS就是不错的选择，它可以本地支持数据科学主流的Python框架，例如Pandas、TensorFlow/Keras、PySpark和Arrow。

数据集尺寸增加，预测性能增加

百度研究院曾经提出，可以根据训练数据的数量，判断深度学习模型预测的精确度是否能提高(或者能否生成更少的错误)。根据下方的对数坐标图可以看出，随着训练数据的尺寸增加，生成的错误不断减少，呈幂律分布。这一结果来源于对多领域不同的机器学习模型的研究，包括机器翻译、语言建模、图像分类、语音识别。假设这一结果在多个应用领域都通用，那么有可能在你的研究领域也成立。对正在考虑大规模投资深度学习的公司来说，这一结果非常重要。假设生成或收集1GB的新训练数据需要花费X美元，你就能预测它能为模型精确度提高多少。