大数据计算技术的演变历程、大数据挖掘技术

计算技术演变历程：

1、离线计算Mapreduce：大数据兴趣初期，满足海量数据的离线批处理需求；

2、流式计算Storm：满足电子商务，新闻聚合等、实时监管等实时统计需求，以数据流的驱动来触发计算，时效性高，一般可以达到秒级

3、实时计算Spark：满足海量数据的深度挖掘中机器学习/模式识别的迭代型算法，每次计算结果分布式的放在内存中，下一轮直接从内存中读取上一轮的数据，节省大量的IO开销

4、图计算：基于数据之间的潜在关联性分析，更好的进行实时预测和推荐，图形通过顶点与边的连接方式，能够更加直接的查找和计算关联关系

 

大数据挖掘技术：

1、深度学习：通过层次化的方式和海量的训练数据，从而提升分类或预测的准确性

2、多维数据关联：满足用户从多角度多层次进行快速数据查询和分析的数据模型，面向分析决策，解决传统数据模型在数据维度高、条数多的情况下，无法有效表示数据结构和语义，以及无法有效支持OLAP的问题。主要分析方法：钻取、上卷、切块、旋转

3、知识图谱：基于图结构刻画实体之间的关系的技术。

4、数据可视化