数据工程指南：初学者入门

别人经常问我，如何成为一名优秀的数据工程师？

你会在这份指南中找到答案。

如果你正在寻找人工智能算法或类似的学习资料，这些内容不适合你。

如何使用这份指南：这本书是你的起点，而不是训练！我想帮助您确定要研究的主题，并在此过程中成为一名出色的数据工程师。

我会介绍数据科学平台每个关键领域的工具（连接、缓冲区、处理框架、存储、可视化），选择一些你感兴趣的工具，研究并使用它们。

原文来源于Github开源项目《The Data Engineering Cookback》
作者：Andreas Kretz
感兴趣可以查看：Data Engineering Cookbook

数据工程师 vs 数据科学家

数据工程师

数据工程师负责搭建数据平台，然后数据科学家利用数据构建模型。

数据平台通常有5种使用方式：

1. 提取并存储大量数据
2. 数据科学家利用数据创建机器学习模型
3. 数据科学家在生产环境部署模型
4. 向员工和客户提供可视化产品
5. 大多数时候人们会从搭建传统的系统架构开始，涉及到SQL数据库、web服务器、SAP和其它“标准”系统。

但要创建大数据平台，工程师必须是一名专业人士，负责检查、设置和维护大数据技术，例如：Hadoop、Spark、HBase、Cassandra、MongoDB、Kafka、Redis等等。他们还需要知道如何在云计算平台部署系统，比如在AWS、GCP或者Azure。

数据科学家

数据科学家与其他科学家不同。

数据科学家不穿白大褂，也不在充满科幻色彩的高科技实验室工作，他们和你我一样在办公室工作。

不同之处在于他们精通数学，他们使用线性代数和多元微积分从现有数据中创造新的见解。

这一见解究竟如何？

下面是一个例子：

许多工业产品需要在装运前进行测试。

通常这样的测试需要很长时间，因为要测试的东西有数百种，所有这些都是为了确保你的产品没有损坏。

如果一个测试在十步后失败了，早点知道岂不更好？若能够预见到这一点，就可以跳过后续的所有测试，直接开始修复产品或扔掉它。

这正是数据科学家可以帮助你的地方，这个领域被称为预测分析，选择的技术是机器学习。

机器可以学习？

是的，机器学习的工作原理是：向算法提供测量数据，它生成一个模型，该模型代表了数据中隐藏的模式。向模型展示新数据，模型将告诉你预测结果。毫无疑问机器学习可以用于预测机器故障，当然整个过程并不是那么简单。

训练和应用