Python Spark 机器学习与Hadoop 大数据(2) 学习笔记一

1.7大数据定义

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特性可归纳为5V:Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
特征:
容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；
种类（Variety）：数据类型的多样性；
速度（Velocity）：指获得数据的速度；
可变性（Variability）：妨碍了处理和有效地管理数据的过程。
真实性（Veracity）：数据的质量
复杂性（Complexity）：数据量巨大，来源多渠道
价值（value）：合理运用大数据，以低成本创造高价值
大数据未来与发展
大数据未来除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。人是地球的主宰，大部分的数据都与人有关，所以能很好的使用大数据解决人的问题。比如宛如科幻小说里面描写的一样，建立个人数据中心，将每个人的日常生活习惯，身体特征，社会网络，知识能力，爱好性情。疾病嗜好，情绪波动…