大数据分析

大数据分析简介

    大数据分析是指对规模巨大的数据进行分析。

    大数据分析的产生旨在于IT管理，企业可以将实时数据流分析和历史相关数据相结合，然后大数据分析并发现它们所需的模型。反过来，帮助预测和预防未来运行中断和性能问题。进一步来讲，他们可以利用大数据了解使用模型以及地理趋势，进而加深大数据对重要用户的洞察力。他们也可以追踪和记录网络行为，大数据轻松地识别业务影响；随着对服务利用的深刻理解加快利润增长；同时跨多系统收集数据发展IT服务目录。

分析步骤

识别需求

    识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。

收集数据

    有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。

分析数据

    分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有：

    老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图；

    新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。

大数据分析的六个基本方面

1.Analytic Visualizations（可视化分析）

    不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2.Data Mining Algorithms（数据挖掘算法）

    可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3.Predictive Analytic Capabilities（预测性分析能力）

    数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4.Semantic Engines（语义引擎）

    我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5.Data Quality and Master Data Management（数据质量和数据管理）

    数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

6.数据存储，数据仓库

    数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。

异步分析

    异步处理的大数据分析中遵守了捕获、存储加分析的流程，过程中数据由传感器、网页服务器、销售终端、移动设备等获取，之后再存储到相应设备上，之后再进行分析。由于这些类型的分析都是通过传统的关系型数据库管理系统(RDBMS)进行的，数据形式都需要转换或者转型成为RDBMS能够使用的结构类型，例如行或者列的形式，并且需要和其它的数据相连续。

    处理的过程被称之为提取、转移、加载或者称为ETL。首先将数据从源系统中提取处理，再将数据标准化处理且将数据发往相应的数据仓储等待进一步分析。在传统数据库环境中，这种ETL步骤相对直接，因为分析的对象往往是为人们熟知的金融报告、销售或者市场报表、企业资源规划等等。然而在大数据环境下，ETL可能会变得相对复杂，因此转型过程对于不同类型的数据源之间处理方式是不同的。

    当分析开始的时候，数据首先从数据仓储中会被抽出来，被放进RDBMS里以产生需要的报告或者支撑相应的商业智能应用。在大数据分析的环节中，裸数据以及经转换了的数据大都会被保存下来，因为可能在后面还需要再次转换。

大数据分析与数据挖掘的区别

发展状况

    开源大数据

1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
   一体机数据仓库
   IBM PureData(Netezza), OracleExadata, SAP Hana等等。