数据分析职业概览

什么是数据分析

数据分析
是根据业务问题，对数据进行收集，清洗，处理和建模，
用于识别有助于业务的信息，获取关键业务结论并辅助决策制定

• 从两个层面解释数据分析：
  它具体是在做什么？
  它能产生什么价值？

• 数据分析工作的作用：
  ·帮企业创造盈利，
  为企业的生存与发展建立基础

数据的价值最终体现在业务上

---

数据分析师应具备的能力

与人沟通的能力

• 与非技术人员明确业务问题,将数据分析结果沟通给其他成员

与机器工作的能力

• 向机器提供数据，模型与算法，并分析机器所给出的结论

  从关系型数据库中查询，收集和整理数据的能力
  代表工具：SQL语言
  对数据进行清洗，整理，分析和模型的能力
  代表工具：Python
  对数据探索和分析结果进行可视化展示的能力
  代表工具：Tableau和Excel

---

数据生产流程

• 数据收集

  • 数据源
  • 线上业务数据
  • 服务端埋点
  • 客户端埋点
  • 实时埋点
  • 离线埋点

• 数据仓库

  • 中间表
  • 底层表

• 数据应用

  • BI系统及可视化
  • 数据分析报告
  • 用户画像及建模
  • 推荐算法

---

数据团队成员角色

• 数据分析师

研究业务，发现需求
数据分析，解决问题
整合资源，部门写作

• 数据产品经理

数据来源埋点
构建BI，实时监控
数据支持
数据仓库
数据接口

• 算法

数据建模
机器学习
深度学习
推荐算法

• 数据开发&数据仓库

数据库建模
部署、调试、维护
分布式计算集群
…

---

数据分析工作流程

• 定义问题
  定义所需分析的业务问题，确定相对的数据分析计划和交付物

• 数据收集与评估
  根据问题确定所需的内部和外部数据源，
  汇总成分析数据集，并进行初步数据质量的评估

• 数据整理与清洗
  检查数据中可能存在的问题，对有错误或者有问题的数据进行清洗，
  并将数据整理成命名规范，取值格式统一的形式

• 数据探索与可视化
  进行初步的数据探索分析，在可视化工具的帮助下，
  找到数据的底层结构和规律及能帮助解决问题的关键因

• 数据分析模型
  将变量信息输入到分析模型中，
  经过模型的选择和调整，
  最终给出能部署到业务中的数据分析结果。