Python数据分析与可视化（1）——Python数据分析与可视化

1、大数据分析框架结构

2、数据、信息与数据分析

数据：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。

数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。

数据聚焦于数据的采集、清理、预处理、分析和挖掘，图形聚焦于解决对光学图像进行接收、提取信息、加工变换、模式识别及存储显示，可视化聚焦于解决将数据转换成图形，并进行交互处理。

信息：是数据的内涵，信息是加载于数据之上，对数据作具有含义的解释。

数据和信息是不可分离的，信息依赖数据来表达，数据则生动具体表达出信息。

数据是符号，是物理性的，信息是对数据进行加工处理之后得到、并对决策产生影响的数据，是逻辑性和观念性的；

数据是信息的表现形式，信息是数据有意义的表示。数据是信息的表达、载体，信息是数据的内涵，是形与质的关系。

数据本身没有意义，数据只有对实体行为产生影响时才成为信息。

数据分析：是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

• 从广义的角度来说，数据分析涵盖了数据分析和数据挖掘两个部分。
• 从狭义的角度来说，数据分析和数据挖掘存在不同之处。主要体现在两者的定义说明、侧重点、技能要求和最终的输出形式。

广义的数据分析包括狭义数据分析和数据挖掘。

狭义的数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程。
数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。

数据分析与数据挖掘的区别：

差异角度    数据分析    数据挖掘

定义    描述和探索性分析，评估现状和修正不足 技术    技术性的“采矿”过程，发现未知的模式

规律    侧重点    技术性的“采矿”过程，发现未知的模式和规律    技术性的“采矿”过程，发现未知的模式和规律

技能    统计学、数据库、Excel、可视化等    过硬的数学功底和编程技术

结果    需结合业务知识解读统计结果    模型或规则

数据分析的流程：

1、需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。
数据获取：数据是数据分析工作的基础，是指根据需求分析的结果提取，收集数据。

2、数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。

3、分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。

4、模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。

5、部署：部署是指将通过了正式应用数据分析结果