大数据发展过程的关键要素

大数据发展过程的关键要素

数据源的三个层次：
1 纬度较少、数据量小
2 纬度丰富、数据量巨大（大数据）。
3 数据正确、及时、具有代表性 样本数据=总体数据（全数据）。


对业务目标而言，数据是否“全”才是关键。
全数据：足以能够全面反映事物形态的数据集合。
全数据下，样本数据=总体数据，数据足够正确、足够新、足够代表性。
当期，虽然大数据量很大、纬度很多、处理速度极快、能够全量处理，但是大数据并没有解决“全”的问题。


例如，“小而全的数据”：对于一个餐饮店的菜品销售分析。其店内产生的数据（客户订单、菜品评价），数据量每天的新增量
仅在每天2千条左右，而且只有订单和评价数据，存储数据库也是传统关系式数据库。对“店内菜品分析而言”
拥有这些数据已经够“全”，解决其业务问题。而更“大”的其他数据，对其没有贡献。
再如，“大而不全的数据”：对于信贷问题，要发现不可信人员。往往的思路是，试图通过对用户的线上行为、消费情况、以往银行记录
进行识别判断。而现实情况却是，该类人群会刻意的回避“线上行为”，如盗用他人银行卡、民间高利贷等“线下行为”，这些隐蔽行为
无法获取到。 

数据处理技术的三个层次：
1 检索、查询
2 统计、分类技术、异常数据分析、关联性分析
3 趋势预测

数据管理的三个层次：
1 保证数据可用 
2 保证数据可控
3 保证数据可信

首要问题是有数据可用，这在数据匮乏的“小数据”时代最为重要。
“大数据”时代则要防止数据迅速膨胀带来的数据失控问题，避免成为一堆大而乱的数据垃圾。
“全数据”强调的是，不盲目追求“大”，而是从业务应用的角度，保证数据的正确、及时。

数据价值的三个层次：
1 展示事物发展过程
2 描述事物发展本质
3 预测事物发展趋势

对事物的发展过程加以数字化的展现，使用分类、关联等技术发现事物发展过程中的规律、模式。
对事物的发展趋势加以预测。

数据源层次越高、处理技术层次越高、数据管理层次越高，带来的数据价值越大。


大数据向下一形态发展的关键技术：
1 非结构化数据处理、异构数据融合，数据安全和共享技术
2 数据科学技术
3 大数据治理技术