大数据分析工作的一些经验

       这两年，大数据很热，几年前，我也从程序设计转到了数据分析，在工作上，我能接触到一些大数据，比如目前正在实施的一个项目，每天的新增数据在100万左右，一年大概在3亿的数据量，几年前，最主要的还是对这些数据进行管理和维护，保证数据的准确性、实时性和完整性，从硬件和软件方面来保证数据的安全，这两年，随着大数据技术的发展，数据分析、数据挖掘等方面的应用就非常的需要了。

      一下进入了数据的海洋中，有种海阔天空的想法，之前的软件开发工作中，根据需求来写代码，觉得空间很小，你的思维和角度已经被框架限制住了，没有什么大的想法，基本就是按照设计结构把功能实现，但在数据分析中，需求也是一样的存在，但是这个架构很大，很多时候可以自由的发挥，可以有一些天马行空的想法，一个思路变更，可以得到完全不同的结果，而在数据分析的过程中，也可以发现很多有趣的东西。

       我们做的是医疗数据分析，每个月要提交各种详细的数据分析报表，给领导做为决策依据，根据这个要求，我们设计了数据模型，对数据进行清洗和整理之后，灌入数据模型，就可以得到想要的分析结果表。在这个数据模型里，我们可以加入很多自己的想法，来实现一些更细更精确的数据分析，比如：在某个月份某个病种在某个人群范围内更容易发生，发生这个病之后，病人的治疗时长就医金额适用药品的详细信息，这样的数据分析很没有限制，让设计人员有很大的发挥空间。

        整理一下，打给的数据流程

1.大数据的采集与预处理。

      由于数据量比较大和数据的多源和多样性，首先要保证数据采集的及时和准确，而数据源的不同，导致数据的质量存在差异，严重影响到数据的可用性。因此必须对数据的采集进行处理，并进行数据清理，提高数据的质量。

2.在大数据存储与管理方向

     数据的管理上和存储复杂比较复杂，需要兼顾结构化、非结构化和半结构化的数据。在数据存储方面既要考虑数据的文档和安全，同时又要让数据能否快速灵活的被使用起来，因此在大数据存储和管理方向，尤其需要关注的是大数据索引和查询技术、数据备份、数据存储等。

3.数据模型的重要性

      在数据的分析中，建立一个整体的数据模型很重要，它就像一个系统的框架，必须要有足够的深度和广度，不能局限于某一个方面，在整体的模型下，再建立分模型，再来实现数据的分析。

4.数据分析

     最后根据具体的指标进行数据分析，得出结果。