大数据概念与特点

1.集群

概念：由多台机器共同完成一个任务，把多台机器称为一个集群，每台机器称为一个节点。

2.分布式

思想：分而治之
概念：把一个任务分成多个小任务，每个机器（节点）只负责一个小任务，则这个任务的执行是分布式的。
衍生：分布式数据库、分布式文件系统、分布式计算系统

3.负载均衡

概念：在同一个集群中，每个节点分担的任务相等
作用：充分利用集群的每个节点的资源，效率更高
有关：与机器的硬件配置有关

4.大数据的5V

1.Volume，数据量大。大数据一般指在10TB以上的数据量，企业级的数据量一般在PB级别。
2.Variety，数据种类多。数据类型有文本，图片，视频，音频等。
3.Value，数据价值密度低。数据量大，价值密度低，整体价值高。
4.Velocity，处理速度快。在数据量非常庞大的情况下，也能做到数据的实时处理。这一点和传统的数据挖掘技术有着本质的不同。
5.Veracity，真实性。