大数据的分析

1.1数据分析概念和分类

数据分析概念和分类
数据分析是指收集、处理数据并获取数据隐含信息的过程。大数据具有数据量大、数据结构复杂、数据产生速度快、数据价值密度低等特点，这些特点增加了对大数据进行有效分析的难度，大数据分析(Big Data Analytics, BDA)成为当前探索大数据发展的核心内容。
数据分析主要作用包括：
● 推测或解释数据并确定如何使用数据；
● 检查数据是否合法；
● 给决策制定合理建议；
● 诊断或推断错误原因；
● 预测未来将要发生的事情。
数据分析的类型
根据数据分析深度，可将数据分析分为三个层次：描述性分析（descriptive analysis），预测性(predictive analysis）分析和规则性分析（prescriptive analysis）。
在统计学的领域当中，数据分析可划分为描述性统计分析、探索性数据分析及验证性数据分析三种类型。
在人类探索自然的过程中，通常将数据分析方法分为定性数据分析和定量数据分析两大类。
按照数据分析的实时性，一般将数据分析分为实时数据分析和离线数据分析。
数据分析
数据分析是指通过建立审计分析模型对数据进行核对、检查、复算、判断等操作，将被审计单位数据的现实状态与理想状态进行比较，从而发现审计线索，搜集审计证据的过程。

·审计是对资料作出证据搜集及分析，以评估企业财务状况，然后就资料及一般公认准则之间的相关程度作出结论及报告。进行审计的人员必需有独立性及具相关专业知识。

数据分析的目的与意义

数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。

在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如J.开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。

数据分析的功能

数据分析主要包含下面几个功能：

1. 简单数学运算（Simple Math）

2. 统计（Statistics）

3. 快速傅里叶变换（FFT）

4. 平滑和滤波（Smoothing and Filtering）

5. 基线和峰值分析(Baseline and Peak Analysis)

数据分析的类型

在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。

探索性数据分析：是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。

定性数据分析：又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。

数据分析步骤

数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步：

1、探索性数据分析，当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。

2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。

3、推断分析，通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。

数据分析过程实施

数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。

一、识别信息需求

识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。

二、收集数据

有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时