读书笔记 《python绝技 运用python成为顶级数据工程师 》

• 数据工程师应具备两种能力：数据分析和数据工程；

 

• 数据分析流程：明确目标，确定方案，数据整理，实施建模，结果验证和总结展现。

1. 明确目标：分析类型分为：验证型、描述型和预测型。 
2. 确定方案：确定方案三个步骤：确认能否获取相关数据-》选择可行的分析建模及实施方法-》制定结果的校验准则。建模的方法，由简单到复杂分为三类：基础分析，数据挖掘，深度学习。
3. 数据整理
4. 实施建模
5. 结果验证
6. 总结展现

• ETL (Extract-Transform-Load): 从源端抽取（Extract）原始数据并进行格式化等转换(Transform)，最终加载(Load)到数据仓库中。
• 数据分析工具：MATLAB, SPSS,Stata, SAS, EViews,Excel,Python,R。

 

基础知识关键词：均值，方差，标准差，回归决策树。