——-读书笔记
1980年,著名未来学家阿尔文.托夫勒在《第三次浪潮》一书中,将大数据热情的赞颂为“第三次浪潮的华彩乐章”。从技术层面上看,大数据无法用单台计算机进行处理而必须采用分布式计算架构。其特色在于对海量数据的挖掘,但它又必须依托一些现有的数据处理方法,如云式处理、分布式数据库、云存储与虚拟化技术等。
大数据快速增长的原因之一是智能设备的普及,用户手中的手机和移动设备是数据量爆炸的另一个重要原因。
大数据背景下,数据的采集、分析、处理较之传统模式有了颠覆式的改变。
大数据呈现出4v1o的特征:
1、数据量大(Volume)
2、多样化(Viriety)
3、数据价值密度化(Value)
4、速度快、时效高(Velocity)
5、数据是在线的(On-Line)
大数据的整体技术一般包括数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、和结果呈现等。
4种典型工具
Hadoop
Spark
Storm
Apache Drill
问题:
大数据隐私和安全问题