大数据发展过程的关键要素
数据源的三个层次:
1 纬度较少、数据量小
2 纬度丰富、数据量巨大(大数据)。
3 数据正确、及时、具有代表性 样本数据=总体数据(全数据)。
对业务目标而言,数据是否“全”才是关键。
全数据:足以能够全面反映事物形态的数据集合。
全数据下,样本数据=总体数据,数据足够正确、足够新、足够代表性。
当期,虽然大数据量很大、纬度很多、处理速度极快、能够全量处理,但是大数据并没有解决“全”的问题。
例如,“小而全的数据”:对于一个餐饮店的菜品销售分析。其店内产生的数据(客户订单、菜品评价),数据量每天的新增量
仅在每天2千条左右,而且只有订单和评价数据,存储数据库也是传统关系式数据库。对“店内菜品分析而言”
拥有这些数据已经够“全”,解决其业务问题。而更“大”的其他数据,对其没有贡献。
再如,“大而不全的数据”:对于信贷问题,要发现不可信人员。往往的思路是,试图通过对用户的线上行为、消费情况、以往银行记录
进行识别判断。而现实情况却是,该类人群会刻意的回避“线上行为”,如盗用他人银行卡、民间高利贷等“线下行为”,这些隐蔽行为
无法获取到。
数据处理技术的三个层次:
1 检索、查询
2 统计、分类技术、异常数据分析、关联性分析
3 趋势预测
数据管理的三个层次:
1 保证数据可用
2 保证数据可控
3 保证数据可信
首要问题是有数据可用,这在数据匮乏的“小数据”时代最为重要。
“大数据”时代则要防止数据迅速膨胀带来的数据失控问题,避免成为一堆大而乱的数据垃圾。
“全数据”强调的是,不盲目追求“大”,而是从业务应用的角度,保证数据的正确、及时。
数据价值的三个层次:
1 展示事物发展过程
2 描述事物发展本质
3 预测事物发展趋势
对事物的发展过程加以数字化的展现,使用分类、关联等技术发现事物发展过程中的规律、模式。
对事物的发展趋势加以预测。
数据源层次越高、处理技术层次越高、数据管理层次越高,带来的数据价值越大。
大数据向下一形态发展的关键技术:
1 非结构化数据处理、异构数据融合,数据安全和共享技术
2 数据科学技术
3 大数据治理技术
大数据发展过程的关键要素
最新推荐文章于 2021-08-26 16:22:55 发布