大数据,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
为什么会产生大数据?为什么要使用大数据呢?在这里给大家再通俗的解释一下:
起初,数据量很少的时代,通过表格工具、mysql等关系型数据库(二维表数据库,数据逐行插入)就能够解决数据存储的问题。
但是,随着互联网的飞速发展,产品以及用户的激增,产生了海量的数据。考虑到长足发展,公司会对产品、用户相关的原生数据、埋点数据等进行分析,传统的关系型数据库就无法满足需要,只能通过行式、分布式等数据库来存储这些数据(HBASE、hive等,能够实现集群化,及分配到多台主机上同时计算)。
认识数据可视化
有了数据之后,对数据分析就是成了最关键的环节,海量的数据让用户通过逐条查看是不可行的,图像化才是有效的解决途径。少量的数据可以通过表格工具生成图表、tou视表的方式进行分析,但是大数据的分析就需要借助专门的可视化工具了,常见的可视化工具包括:Tableau、BDP、Davinci、Quick BI、有数等。
大部分商用数据可视化工具的计算、图表展示虽然比较强大,但是却无法做到实时数据快速生成,数据也多为push(固定的范围