hadoop第一天——1.数据分析

数据采集（收集）
数据存储
数据预处理
数据分析
数据应用

一、数据分析

1.1 数据是什么

数据来自于对客观事件的记录和计量，需要计量工具技术的介入。

• 结构化数据
• 非结构化数据
  所谓的结构化通俗解释指的是利于程序解读处理的数据。

1.2 数据分析是什么

使用技术软件寻找出数据中隐藏的规律和价值，最终作用于某个地方。

• 描述性数据分析
• 探索性数据分析
• 验证性数据分析

1.3 数据分析作用

• 现状分析
• 原因分析
• 预测分析

在商业中数据分析的作用

• 分析历史数据，已经产生的数据 --> 离线分析
• 分析当下数据，实时产生的数据- -> 实时分析
• 通过数据结合数学知识预测未来发生的事 --> 机器学习（关联、预测、分类、聚类）

1.4 数据分析基本步骤

1. 明确分析目的和思路
   用户行为理论：指标
   数据分析方法论：
        - PEST分析法 — 用于宏观环境的分析
               政治环境(Political)
               经济环境(Economic)
               技术环境(Technological)
               社会环境(Social)
        - 5W2H